検索拡張生成（Retrieval-augmented generation、一般にRAGと略される）は、大規模言語モデルを、モデルが応答を生成する前に外部ソースから関連テキストを取得する検索システムと組み合わせる技術である。モデルは事前学習中にパラメータに符号化された知識のみに依存するのではなく、クエリ時に取得された文章を与えられ、通常はプロンプトに挿入され、その提供された資料を用いて回答するよう求められる。このアプローチにより、汎用モデルは、訓練されたことのない内容（プライベート文書、最近の出来事、またはコンテキストウィンドウに一度に収まらないほど大きなコーパスなど）についての質問に答えることができる。
この技術は、2020年にMeta AI（当時のFacebook AI Research）の研究者らによる論文でRAGという名称で導入され、事前学習済みの系列対系列言語モデルと高密度パッセージ検索器を組み合わせ、純粋なパラメトリックモデルと比較して、知識集約型タスクにおける検索が事実の正確性を向上させることを示した。このアイデアは、より古い情報検索および質問応答研究に基づいていたが、RAGという枠組みはそれを特に生成型トランスフォーマーモデルに結び付け、2022年以降、チャットアシスタントやエンタープライズ検索製品がこのパターンを採用するにつれて、業界全体の標準用語となった。
アーキテクチャ
典型的なRAGパイプラインには2つの段階がある。検索段階では、クエリが数値表現である埋め込みに変換され、文書コレクション用に事前計算された埋め込みインデックスと比較される。これは、多くの場合、効率的な最近傍検索のためにベクトルデータベースに格納される。この段階は、正確なキーワード一致ではなく意味によって検索するセマンティック検索と密接に関連している。生成段階では、上位ランクの文章がユーザーの元の質問とともにモデルのプロンプトに挿入され、モデルはその取得されたコンテキストに条件付けられて回答を生成し、一般的な言語能力を活用しながら、提供された特定の事実に導かれる。多くの本番システムでは、別のモデルで取得された文章を再ランク付けする、文書を重複するセグメントにチャンク分割する、複雑な質問に対して複数の検索クエリを発行するなど、さらなるステップを追加する。
動機：幻覚と鮮度
RAGは、幻覚、つまり言語モデルがもっともらしく聞こえるが偽または裏付けのない記述を生成する傾向の緩和策として広く使用されている。モデルのパラメトリック知識は事前学習の終了時に固定され、時代遅れ、不完全、またはニッチでプライベートなトピックについては単に存在しない可能性があるため、応答を取得されたソーステキストに基づかせることで、モデルは特定の文章を引用でき、捏造された主張の割合を減らす（ただし完全には排除しない）。また、同じモデルを、企業の内部文書や顧客自身のファイルなど、多くのプライベートデータセットにファインチューニングなしで適用できる。検索インデックスはモデル自体とは独立して交換または更新できるためである。
アプリケーションと限界
RAGは、ほとんどのエンタープライズ向け「文書とチャット」製品、ナレッジベースに基づくカスタマーサポートアシスタント、回答前に関連ファイルやドキュメントを取得するコーディングアシスタントの基盤となっている。また、AIエージェントシステムの一般的なアーキテクチャコンポーネントでもあり、エージェントはマルチステップタスク中に利用可能ないくつかのアクションの1つとして検索呼び出しを発行することがある。限界には、取得された文章が無関係または不完全な場合にモデルが依然として幻覚を起こしたり誤って回答したりする可能性があるため、検索品質への感度、インデックスを維持するための追加のレイテンシとインフラストラクチャ、そして検索がインデックス化されたコーパスのどこかに必要な情報が存在する場合にのみ役立つという事実が含まれる。コンテキストウィンドウが数十万トークンに成長するにつれて、一部の実務者は、特定のケースでは文書全体を直接プロンプトに供給することが検索の代わりになるかどうかを議論しているが、RAGは、コンテキストに収まらないほど大きなコーパスや、大規模な文書コレクションを繰り返し再処理せずに検索可能で最新の状態に保つための標準的なアプローチであり続けている。