大規模モデルの長文能力の大躍進：4000から40万トークンへ

大規模モデルは驚異的な速度で長文処理能力を向上させています。最初の4000トークンから現在の40万トークンへのこの飛躍は、人工知能が複雑な情報を処理する能力において重要な進展を遂げたことを示しています。

国際的に、OpenAIは何度もアップグレードを行い、GPTモデルのコンテキスト入力長を4000から32000トークンに引き上げました。一方、Anthropicはコンテキスト長を一気に100000トークンに拡張しました。LongLLaMAはこの数字を256000トークン以上にまで引き上げました。

国内の新興大規模モデル企業「月の暗面」が発表したKimi Chatは、約40万トークンのテキストを入力することができます。香港中文大学とMITが共同開発したLongLoRA技術も、7Bモデルのテキスト長を10万トークンに拡張することができます。

現在、OpenAI、Anthropic、Meta、月の暗い面を含む多くのトップレベルの大規模モデル企業や研究機関が、コンテキストの長さを拡張することを重点的な発展方向としている。これらの企業は一般的に資本市場からの支持を受けており、評価額が急上昇している。

長文処理能力の向上は重要な意義を持っています。それは単にモデルの読解範囲を短文から長編小説、さらには大作にまで拡大するだけでなく、金融、法律、研究などの専門分野における大規模モデルの応用を促進します。長文技術は情報抽出と分析能力の向上に寄与し、モデルが幻覚を生じる可能性を減少させます。

しかし、テキストの長さが長ければ長いほど良いわけではありません。研究によれば、モデルがコンテキストの内容を効果的に活用することが、単に長さを追求することよりも重要です。現在、業界では長文技術の探求が続いており、40万トークンはおそらく始まりに過ぎません。

長文技術の発展は「不可能な三角形」のジレンマに直面しています: テキストの長さ、注意の配分、計算能力の要求の三者を同時に満たすことは難しいです。これは主にTransformer構造における自己注意メカニズムの計算の複雑さが文脈の長さに対して二次的に増加することに起因しています。

この問題を解決するために、研究者たちは複数の最適化案を提案しました。

1. 外部ツールを利用して長文を処理する 2.セルフアテンションメカニズムの計算を最適化します
2. モデル最適化手法を利用する

長文処理には依然として課題がありますが、それは大規模モデルが新たな発展段階に入ったことを示しています。今後、大規模モデル企業は、テキストの長さ、注意配分、計算能力の需要の間で最適なバランスを追求し、より強力な長文処理能力を実現するでしょう。