大規模言語モデル（LLM）は、ニューラルネットワークであり、通常はTransformerアーキテクチャに基づいて構築され、非常に大量のテキストを訓練して、シーケンス内の次のテキスト単位、つまりトークンを予測します。この狭い訓練目標にもかかわらず、十分な規模で訓練されたLLMは、言語理解、生成、翻訳、要約、推論において幅広い能力を示し、ChatGPT、Claude、Geminiなどのアシスタントの技術基盤を形成しています。
歴史
Transformerベースの言語モデルは、アーキテクチャが2017年に導入された直後に登場しました。BERT（2018年）は、言語理解タスクにおける大規模な事前訓練の価値を実証しました。一方、OpenAIのGPTシリーズは、生成的な自己回帰訓練を大規模に追求し、GPT-3（2020年）に至りました。これは1750億のパラメータと強力な少数ショット学習性能で広く注目されました。GPT-4（2023年）は、マルチモーダル入力とはるかに高い能力でパラダイムを拡張しました。また、2022年11月にGPT-3.5モデルを基盤としたChatGPTのリリースが会話型LLMを主流にし、GoogleのGeminiファミリーやMetaのオープンウェイトのLlamaシリーズなど競合他社の急速な参入を促進しました。
仕組み
LLMは、事前学習フェーズで、広範囲で未整理のテキストコルラを自己指導の目的で訓練され、以前の文脈に基づいて次のトークンを予測することを学習します。これにより、自動回帰モデルが生成され、1トークンずつ流暢なテキストを生成できます。事前学習済みの「基本」モデルは、通常、ファインチューニングや人間のフィードバックからの強化学習を通じてさらに適応され、指示に従い安全に対話するように調整されます。これは、ChatGPTやClaudeなどのモデルの中核となるプロセスです。モデルが1回の対話で処理できるテキスト量は、コンテキストウィンドウによって制限され、初期のモデルの約数千トークンから、2025年頃の一部のシステムでは100万以上に拡大しました。
規模と能力
スケーリング則として知られる経験的关系は、パラメータ数、訓練データ、計算量が同時に増加すると、モデルの損失が予測可能に改善することを説明しています。多段の算術や複雑な指示の追従などの一部の能力は、特定の規模の閾値を超えると比較的に突然現れるようであり、この現象は創発的能力と呼ばれています。ただし、研究者は、これがモデルの実際の特性であるのか、それとも能力の測定方法のアーティファクトであるのかについて議論しています。
制限
LLMはHallucination (AI)（幻覚）を起こしやすく、流暢であるが事実誤りを含むステートメントを生成し、出力が信頼性に欠けることをユーザーに示す手がかりがありません。テキストを検証済みの知識ではなく学習した統計パターンに基づいて生成するため、トレーニングデータに存在するバイアスを再生産する可能性があり、ジェールブレークなどの敵対的プロンプト技術に対して脆弱です。緩和策には、出力を外部の文書から検索したものに基づかせる検索拡く生成や、回答前に追加のテスト時計算を自己チェックする「推論モデル」の増加などがあります。