自己無矛盾性（self-consistency）は、大規模言語モデルで使用されるデコード戦略であり、多段階推論タスクのパフォーマンスを向上させるために用いられる。単一の貪欲法またはサンプリング法によるパスで一つの回答を生成する代わりに、モデルは同じプロンプトに対して複数の独立した推論パスを生成し、最終回答の多数決を取ることで結果を集約する。このアプローチは、個々の推論チェーンには誤りが含まれる可能性があるが、正しい回答は多様なサンプリングパス間でより一貫して現れる傾向があるという直感を活用している。
この技術は、2022年にGoogle Researchとスタンフォード大学の研究者らによって導入され、Xuezhi Wang氏らが主導した。これは、チェーン・オブ・ソート・プロンプティング（chain-of-thought prompting）に対するシンプルでトレーニング不要の拡張として設計されており、ステップバイステップの推論を引き出すことで算術、常識、記号推論のベンチマークでのパフォーマンスが向上することがすでに示されていた。自己無矛盾性は、単一の貪欲デコードパスを複数のサンプルに置き換え、通常はゼロより高い温度設定を使用して多様性を促進し、全サンプルで最も頻繁に現れる回答を選択することで、これを基盤に構築されている。
メカニズムと実装
自己無矛盾性は完全に推論時に動作し、モデルの重みやアーキテクチャの変更を必要としない。このプロセスは3つのステップで構成される。第一に、モデルに質問がプロンプトされ、ステップバイステップで推論するよう指示される。第二に、モデルは非ゼロ温度で複数回（多くの場合5〜40回）サンプリングされ、多様な推論チェーンを生成する。第三に、各チェーンの最終回答がグループ化され、最も一般的な回答が最終出力として選択される。集約ステップは単純な多数決でも、モデルの信頼度や推論パスの長さに基づく加重投票でもよい。
この方法は、チェーン・オブ・ソート・プロンプティングと組み合わせると特に効果的だが、標準的なプロンプトにも適用できる。実際には、サンプル数が重要なハイパーパラメータであり、サンプル数が多いほど精度は向上するが、計算コストも増加する。多くのタスクでは約40サンプルを超えると収穫逓減が見られることが研究で示されているが、最適値は問題の種類やモデルサイズによって異なる。
パフォーマンス向上
実証評価によると、自己無矛盾性はさまざまなベンチマークで精度を大幅に向上させる。小学校レベルの数学文章題データセットであるGSM8Kでは、この技術により、540Bパラメータモデルに適用した場合、単一のチェーン・オブ・ソート・サンプルでの約56%の精度が、40サンプルを使用した自己無矛盾性で74%以上に向上した。同様の向上はSVAMPデータセット（約79%から84%へ）や代数文章題のAQuAデータセット（約39%から55%へ）でも観察された。
常識推論タスク（CommonsenseQAやStrategyQAベンチマークなど）では、自己無矛盾性は一貫した改善をもたらしたが、相対的な向上は算術問題よりも小さかった。この方法は、100Bパラメータ範囲の小型モデルから最先端モデルまで、さまざまなモデル規模で機能することが示されており、現在では多くの本番システムで標準的なテスト時技術となっている。
他のデコード方法との比較
自己無矛盾性は、ビームサーチやトップkサンプリングなどの他のサンプリングベースのアプローチとは異なり、単一の高確率シーケンスを選択するのではなく、複数の完全な推論パスを明示的に集約する。温度スケーリングがランダム性を制御するが依然として1つの出力を生成するのに対し、自己無矛盾性は温度を使用して多様性を生成し、投票によってそれを解決する。また、RLHFベースの手法とは異なり、追加のトレーニングや報酬モデルを必要としない点で区別される。
この技術は、別のモデルが候補回答をスコアリングする検証者ベースのアプローチと補完的である。一部のシステムでは、自己無矛盾性と学習済み検証者を組み合わせて投票に重み付けを行うが、元の方法では重み付けなしの多数決を使用する。ビームサーチが固定された部分シーケンスのセットを探索するのに対し、自己無矛盾性は完全な独立軌道を探索するため、推論の局所的な誤りに対してより堅牢である。
アプリケーションと使用例
自己無矛盾性は、AI研究と産業界で広く採用されている。特に、数学的問題解決、コード生成、医療質問応答など、推論精度が重要な領域で価値が高い。大規模言語モデルAPIでは、開発者は自己無矛盾性を後処理ステップとして実装し、複数の完了をサンプリングして結果を集約してから応答を返すことが多い。
この技術は、推論以外のタスク（事実検証やオープンドメイン質問応答など）にも拡張されている。これらの設定では、多数決が幻覚や一貫性のない回答をフィルタリングするのに役立つ。一部の生成AI製品は、信頼性を向上させるために自己無矛盾性を内部的に使用しているが、特に大規模モデルでは追加の推論コストが大きくなる可能性がある。
制限と考慮事項
自己無矛盾性の主な欠点は計算コストである。複数のサンプルを生成すると推論時間とトークン使用量が増加し、リアルタイムアプリケーションや非常に大規模なモデルを使用する場合には法外になる可能性がある。研究者らは、自信のある多数派が現れたときに早期に停止する適応サンプリングや、初期サンプリングに小型モデルを使用し検証に大型モデルを使用するなど、このオーバーヘッドを削減する方法を探求している。
もう一つの制限は、自己無矛盾性が正確性を保証しないことである。モデルが誤った回答に対して系統的なバイアスを持っている場合、多数決はその誤りを強化する。この方法はまた、正しい回答が最も頻繁であることを前提としているが、これは多くのもっともらしい回答があるタスクやプロンプトが曖昧な場合には当てはまらない可能性がある。さらに、自己無矛盾性はモデルが解析可能な最終回答を生成することを必要とし、これは自由形式の生成タスクでは困難な場合がある。
他のテスト時技術との関係
自己無矛盾性は、再トレーニングなしでモデルのパフォーマンスを向上させるテスト時計算手法のより広いファミリーの一部である。これはビームサーチや核サンプリングと密接に関連しているが、回答の集約に独自に焦点を当てている。この技術は、プロンプトエンジニアリング戦略（フューショットプロンプティングやチェーン・オブ・ソートなど）と組み合わせることができ、多様性と一貫性のバランスを取るために温度調整と併用されることが多い。
最近の研究では、推論パスを類似性でクラスタリングしたり、モデル自身の信頼度スコアを使用して投票に重み付けしたりするなど、より洗練された集約方法が探求されている。一部のアプローチでは、多数派をモデルにフィードバックしてさらなる推論を行うことで、回答を反復的に洗練する。これらの拡張は精度と効率の両方を向上させることを目的としているが、元の多数決形式が依然として最も広く使用されている。
AI研究と実践への影響
導入以来、自己無矛盾性は推論ベンチマークの標準的なベースラインとなり、機械学習文献で頻繁に引用されている。これは、デコード戦略だけで大幅なパフォーマンス向上が達成できることを実証し、研究の焦点の一部をモデルアーキテクチャから推論時計算へと移行させた。この技術は、その後のテスト時トレーニングや適応計算に関する研究に影響を与え、現在ではOpenAIやGoogle DeepMindの研究論文や本番システムで一般的なコンポーネントとなっている。
この方法はまた、サンプリングにおける多様性の重要性を浮き彫りにし、温度、サンプリング戦略、プロンプトのバリエーションが推論品質にどのように影響するかについてのさらなる研究につながった。大規模言語モデルがスケールし続ける中、自己無矛盾性は複雑なタスクの精度を向上させるための実用的なツールであり続けており、特に計算予算が複数サンプルを許可する設定で有効である。
将来の方向性
進行中の研究は、自己無矛盾性をより効率的で堅牢にすることを目指している。一つの方向性は、自己無矛盾性が役立つ時期を予測することを学習し、システムが難しい質問にのみ選択的に適用できるようにすることである。もう一つは、回答の信頼度や推論パスの品質を考慮したより良い集約関数を開発することである。また、マルチモーダルモデルや、多数決がそれほど簡単ではない長文生成を含むタスクへの自己無矛盾性の適用にも関心が寄せられている。
2020年代半ばの時点で、自己無矛盾性は依然として活発な研究分野であり、新しい変種が定期的に登場している。そのシンプルさと有効性により、AI実践者のツールキットの定番となっており、モデルと推論技術が進化するにつれて、今後も関連性を保ち続ける可能性が高い。