トークンは、言語モデルが読み書きするテキストの基本単位です。大規模言語モデルの文脈では、トークンは必ずしも完全な単語である必要はなく、サブワード、文字、あるいはバイトレベルの表現である場合もあります。生のテキストをトークンに変換するプロセスはトークン化と呼ばれ、モデルが言語を解釈し生成する方法を決定する重要な前処理ステップです。言語モデルのすべての運用指標（価格、コンテキストウィンドウサイズ、処理速度を含む）はトークンで測定され、トークンは現代の人工知能システムにおける通貨となっています。
トークン化により、モデルは膨大な語彙を効率的に処理できます。すべての可能な単語を保存する代わりに、トークナイザーは学習された語彙（通常30,000から100,000トークン）に基づいてテキストをより小さな断片に分割します。例えば、「unhappiness」という単語は「un」、「happi」、「ness」に分割されるかもしれませんが、「the」のような一般的な単語は単一のトークンのままです。このアプローチは、計算効率と言語的カバレッジのバランスを取り、非現実的な辞書サイズなしで多様な言語や技術的専門用語を処理することを可能にします。
トークン化の方法
これまでにいくつかのトークン化アルゴリズムが開発されてきました。2016年にRico Sennrichとその同僚によって導入されたByte-Pair Encoding（BPE）は、最も広く使用されている方法の一つです。BPEは、トレーニングコーパス内で最も頻繁に出現する文字またはサブワードのペアを、目標の語彙サイズに達するまで反復的にマージします。もう一つの一般的な方法は、Googleで開発されたWordPieceで、尤度ベースのアプローチを使用してマージを選択します。最近では、Googleが作成したSentencePieceがテキスト全体を文字のシーケンスとして扱い、日本語や中国語のような明確な単語境界のない言語を処理できます。
SentencePieceにも実装されているUnigram言語モデルのトークン化は、訓練されたUnigramモデルに基づいてテキストの最も可能性の高いセグメンテーションを選択する確率論的アプローチを取ります。各方法には、圧縮率、語彙外の処理、下流のモデルパフォーマンスに関してトレードオフがあります。トークナイザーの選択は、モデルが稀な単語、形態的変異、多言語テキストをどれだけ理解するかに大きく影響します。
言語モデルにおける役割
トランスフォーマーベースのモデルでは、トークンはニューラルネットワークへの入力として機能する数値埋め込みに変換されます。各トークンには語彙から一意の整数IDが割り当てられ、これらのIDは意味的および構文的情報を捉える高次元ベクトルにマッピングされます。モデルは、これらの埋め込みのシーケンスを複数のアテンション層とフィードフォワードネットワーク層を通じて処理し、トークン間のパターンと関係を学習します。
生成中、モデルは先行するコンテキストに基づいて、次のトークンに対するトークン語彙全体の確率分布を出力します。この自己回帰プロセスは、特別なシーケンス終了トークンが生成されるか、最大長に達するまで続きます。トークンの粒度はモデルが一貫したテキストを生成する能力に影響します。サブワードトークンは新しい単語の柔軟な構成を可能にしますが、文字レベルのトークンははるかに長いシーケンスとより多くの計算を必要とします。
コンテキストウィンドウと制限
トークンで測定されるコンテキストウィンドウサイズは、モデルが一度に考慮できるテキストの量を定義します。GPT-2のような初期のモデルは1,024トークンのコンテキストウィンドウを持っていましたが、GPT-4 Turboのような現代のモデルは最大128,000トークンをサポートし、Claude 3のような一部のモデルは200,000トークンのコンテキストを提供します。これらの制限は、長いドキュメントの分析、書籍全体の要約、長時間の対話での一貫した会話の維持など、モデルが実行できるタスクの種類に直接影響します。
入力がコンテキストウィンドウを超えると、モデルは通常、最も古いトークンを切り捨てるか、スライディングウィンドウや検索拡張などの技術を使用して長いテキストを管理します。コンテキストウィンドウはメモリ使用量と計算コストにも影響します。長いコンテキストはより多くのアテンション計算を必要とし、標準的なトランスフォーマーではシーケンス長に応じて二次関数的にスケーリングします。これにより、スパースアテンションやリニアアテンションなどの効率的なアテンションメカニズムの研究が動機付けられ、過剰なリソース要求なしでコンテキスト長を拡張することを目指しています。
価格とコスト
APIプロバイダーはトークン使用量に基づいて課金し、通常、入力トークンと出力トークンを区別します。例えば、OpenAIのGPT-4 Turboは1,000入力トークンあたり$0.01、1,000出力トークンあたり$0.03で、AnthropicのClaude 3 Opusは1,000トークンあたり入力$0.015、出力$0.075です。これらの価格はトークン処理の計算コストを反映しており、出力トークンは逐次生成プロセスのためより高価です。
トークン数は、ファインチューニングとトレーニングのコストも決定します。モデルのトレーニングには数十億のトークンの処理が含まれ、総コストはトークン数に比例してスケーリングします。例えば、Llama 2のような700億パラメータのモデルのトレーニングには約2兆トークンが必要で、計算に数百万ドルのコストがかかりました。トークン価格の理解は、特に大規模なテキスト処理やリアルタイムの対話を含むAIアプリケーションの予算編成に不可欠です。
速度とスループット
処理速度は1秒あたりのトークン数（TPS）で測定されます。推論速度はハードウェアとモデルサイズに応じて大きく異なります。NVIDIA A100のような高性能GPUでは、70億パラメータのモデルが毎秒20〜30トークンを生成する可能性がありますが、専用ハードウェア上の小さなモデルは毎秒数百トークンを達成できます。Groqのような企業は、一部のモデルで毎秒500トークン以上を提供するLPU（Language Processing Unit）を使用して、非常に高いスループットを実現するカスタムチップを開発しました。
速度は、チャットボット、コード補完、ライブ翻訳などのリアルタイムアプリケーションにとって重要です。最初のトークンまでの時間であるレイテンシもミリ秒単位で測定され、モデルのサイズと推論スタックの効率に依存します。量子化、モデルプルーニング、投機的デコードなどの技術は、トークンスループットを向上させ、より応答性が高くコスト効率の良いデプロイメントを可能にするために使用されます。
トークン効率と最適化
研究者と実践者は継続的にトークン効率の向上を目指しています。これには、テキストをより効果的に圧縮するトークナイザーの開発が含まれ、同じ情報を表すために必要なトークン数を削減します。例えば、一部のモデルは任意のテキストを処理するためにバイトレベルのトークン化を使用し、他のモデルはコードや科学表記法に特化した語彙を採用しています。
プロンプトエンジニアリングもトークン効率に焦点を当てており、短いプロンプトはコストとレイテンシを削減します。インストラクションチューニングやフューショット学習などの技術は、最小限のトークン使用で望ましい出力を達成することを目指しています。さらに、モデル蒸留と量子化はトークンあたりの計算コストを削減でき、大幅なパフォーマンス損失なしでモデルをより高速かつ安価に実行できます。
将来の方向性
言語モデルが進化するにつれて、トークン化は活発な研究分野のままです。マルチモーダルモデルは現在、テキストだけでなく、画像、音声、ビデオもトークン化し、別個または統一されたトークナイザーを使用します。例えば、GPT-4Vのようなモデルは画像パッチをトークンとして処理し、オーディオモデルは波形を離散表現に変換します。このトークンタイプの拡張により、モダリティを横断して理解および生成できる、より多用途なAIシステムが可能になります。
また、セグメンテーションがコンテキストやタスクに基づいて適応する動的トークン化への関心も高まっています。一部の研究では、フレーズや文全体などのより大きなトークンユニットを使用して、効率と一貫性を向上させることを探求しています。しかし、これらのアプローチは、柔軟性の維持と新しい入力の処理において課題に直面しています。トークン化技術の継続的な開発は、言語モデルの能力と経済性を形成し続けるでしょう。