Few-shot learningとは、新しいタスクを、そのタスクの例を少数（多くの場合、1つから数十程度）だけ示されただけで正しく実行できる能力のことである。大規模言語モデルの文脈では、この用語は最も一般的には特定の実践を指す。すなわち、実際のクエリの直前に、いくつかの入力と出力の例をプロンプト内に直接配置し、モデルがパターンを推論して、基礎となる重みを一切変更することなくそれを適用できるようにする方法である。これにより、few-shot learningは、新しいタスクの学習にラベル付きデータセットの収集とファインチューニングなどの最適化プロセスの実行を必要とする従来の教師ありアプローチとは区別される。
この枠組みは、2020年にOpenAIのトム・ブラウンらによって発表されたGPT-3の論文「Language Models are Few-Shot Learners」によって広く知られるようになった。この論文は、大量のテキストに対する次トークン予測のみで訓練された十分に大規模な自己回帰モデルが、勾配更新を一切行わずに、コンテキスト内で少数のデモンストレーションを与えられただけで、翻訳、質問応答、算術をかなりうまく実行できることを示した。この結果は、スケールだけでも、汎用の事前学習目的と組み合わせることで、タスク固有の訓練データに取って代わることができるという、最も明確な初期の実証の1つであった。
メカニズム
Few-shot promptingが機能するのは、事前学習済みモデルのパラメータが、さまざまな種類のタスクがどのように構造化されているかについての広範な統計的知識をすでに符号化しているためである。プロンプト内の例は、モデルに新しい事実を教えるというよりも、モデルがすでに生成できる多くのタスクの中から、どのタスク、形式、スタイルを適用するかを指定するものである。この能力は、一般にインコンテキスト学習というより広い見出しの下で研究されており、これはTransformerベースのモデルがコンテキストウィンドウの内容のみに基づいてその動作を適応させる現象である。必要な例の数、その順序、ターゲットクエリとの類似性、デモンストレーションの形式はすべて、場合によっては大幅に精度に影響を与えることが示されており、そのためプロンプト設計はそれ自体が経験的な技術となり、プロンプトエンジニアリングと密接に関連している。
ゼロショットおよびファインチューニングとの関係
Few-shot learningは、他の2つのレジームの間に位置する。すなわち、モデルが指示のみを与えられ例を与えられないゼロショット学習と、モデルの重みがラベル付きデータセットで更新されるファインチューニングである。モデルがより大規模になり、より重い指示チューニングで訓練されるにつれて、多くの一般的なタスクではゼロショットとfew-shotのパフォーマンスの差は縮小している。なぜなら、よく調整されたモデルは、デモンストレーションなしで明確な指示に正しく従うことができることが多いからである。しかし、few-shotの例は、珍しい出力形式、特異な分類スキーム、または言葉で説明するのは難しいが示すのは簡単なスタイルを指定する場合には依然として有用である。ファインチューニングと比較すると、few-shot promptingは訓練インフラを必要とせず、即座に効果を発揮するという利点があるが、呼び出しのたびにコンテキストウィンドウのスペースを消費し、その利得は通常、ファインチューニングされたモデルのように持続したり複合したりしない。
評価と遺産
GPT-3のfew-shotの結果は、この分野が一般化について考える方法を再構成した。すなわち、各タスク用の狭いモデルを構築するのではなく、1つの大きな汎用モデルを構築し、プロンプトだけで推論時に特化させることがもっともらしくなったのである。この変化は、OpenAIとその後継の競合他社が採用したAPIファーストのビジネスモデルを支え、ChatGPTなどの汎用チャットアシスタントへのより広範な移行を直接予兆した。後の研究は、見かけ上の「学習」のうち、どれだけが真の新しいタスク獲得を反映しているのか、それともモデルが事前学習中にすでに似たようなものを見たタスクの検索を反映しているのかを疑問視し、この議論は、創発的能力やfew-shotベンチマークに関連する能力の主張を研究者がどのように解釈するかを形成し続けている。