ゼロショット学習とは、モデルが特定のタスクについて、訓練中またはプロンプト内でそのタスクのラベル付き例を一切見ることなく、正しくタスクを実行する能力のことである。大規模言語モデルの文脈では、ゼロショット利用は通常、「この文をフランス語に翻訳してください」や「このレビューを肯定的または否定的に分類してください」といった指示のみをモデルに与え、デモンストレーションを一切添付せずに正しい応答を期待することを意味する。この用語は大規模言語モデルより前に存在し、元々はコンピュータビジョンや古典的な機械学習において、訓練データに存在しないカテゴリを認識できる分類器を説明するために使われており、通常はテキスト記述や属性などの補助情報を通じて新しいラベルを既知のラベルに関連付けることで実現されていた。
言語モデルにおけるゼロショット
現代の言語モデルにおけるゼロショット性能は、2つの発展に依存している。第一に、広範なテキストコーパスでの大規模なPretrainingにより、モデルは膨大な範囲のタスク形式、言い回し、ジャンルにさらされ、その結果、新しい指示は、専用の例がなくても、訓練中にモデルが暗黙的に学習した何かに似ていることが多い。第二に、指示チューニングやRLHFなどの調整技術は、モデルを文体上もっともらしい方法でテキストを続けるだけでなく、自然言語の指示に従うように明示的に訓練し、これがChatGPTのような会話型アシスタントを平易な言語のリクエストから直接使用可能にした理由である。この第二のステップ以前は、ベースのGPT-3スタイルのモデルはゼロショットでタスクを実行するよう誘導できることが多かったが、任意の指示を例なしで確実かつ役立つように従う能力は、指示チューニングが業界全体の標準的な実践となってから大幅に向上した。
ゼロショットとフューショット
ゼロショット学習は通常、Few-shot learningやIn-context learningと並んで、プロンプトに現れるタスクのデモンストレーションの数によって定義されるスペクトラム上の一点として議論される。ゼロショットではゼロ、フューショットでは数個である。GPT-3の論文では、同じベースモデルにおいて、フューショットプロンプティングが一般的にゼロショットプロンプティングを上回ることが報告されており、特に出力形式が珍しいタスクで顕著だったが、よく調整されたチャットモデルでは、一般的なタスクにおいてその差は縮まっている。なぜなら、これらのモデルは装飾のない指示を解釈して行動するように特別に訓練されているからである。ゼロショットプロンプティングは、ほとんどの消費者向けチャットボット利用におけるデフォルトの対話モードであり続けている。なぜなら、毎回のリクエストの前にユーザーに例を提供するよう求めるのは、不合理なインターフェース上の負担になるからである。
チェーン・オブ・ソートとゼロショット推論
注目すべき拡張として、ゼロショットChain-of-thoughtプロンプティングがある。これは、ゼロショット指示に「ステップバイステップで考えてみましょう」といった単純なフレーズを追加することで、算数や論理的推論タスクの精度が、例を示すことなく測定可能なほど向上するものである。2022年に研究者らによって報告されたこの発見は、初期の研究でフューショットのデモンストレーションによって引き出された推論能力が、中間ステップを外部化するようモデルに促すだけで、ゼロショットでもしばしば引き出せることを示し、後の専用Reasoning modelシステムの背後にある設計思想に直接つながった。
限界
ゼロショット性能は不均一である。自然言語で一般的なタスク（要約、翻訳、感情分類）では最も強く、正確で馴染みのない出力形式や、モデルがほとんど触れていないドメイン固有の慣習を必要とするタスクでは弱い傾向がある。曖昧な指示は、モデルの理解を固定する例がないと、意図したものとは異なる解釈をされる可能性があり、これがPrompt engineeringの実践が、信頼性が重要なタスクでは少なくとも数個のデモンストレーション、システムメッセージ、または明示的なフォーマット規則を追加することを推奨する理由の一つである。ゼロショット能力はまた、学術ベンチマークで評価のレンズとして頻繁に使用される。なぜなら、フューショットスコアよりも、事前学習からのモデルの一般化をより直接的に測定するからであり、フューショットスコアはテスト分布に偶然よく一致する例によって膨らむ可能性があるからである。