苦い教訓（ビター・レッスン）は、人工知能研究における原理であり、コンピュータ科学者のリッチ・サットンが2019年のエッセイで提唱したもので、この分野の進歩は、人間の知識やドメイン固有の帰納的バイアスを取り入れることではなく、計算能力の増大を活用する汎用手法のスケーリングから一貫してもたらされてきたという考え方を示す。この原理は、人間の理解をシステムに符号化することで知能を構築しようとする研究者は短期的な成果を得るものの、最終的には大規模な計算と単純な学習アルゴリズムに依存するアプローチに追い越されるということを主張する。この名称は、専門的な専門知識が力ずくのスケーリングによって陳腐化されることで、このパターンが研究者に引き起こす frustration（欲求不満）を反映している。
サットンのエッセイは、2019年3月に彼の個人ウェブサイトで公開され、強化学習と機械学習における数十年の経験に基づいていた。彼は、コンピュータチェス、音声認識、コンピュータビジョンなどの分野において、手作業で作られたルールと特徴量に基づくシステムは当初うまく機能したが、後に大量のデータと計算で訓練されたニューラルネットワークに追い越されたことを観察した。この教訓が「苦い」と見なされるのは、特徴量とアルゴリズムを設計する際の人間の知的努力が、計算をスケーリングするために必要な工学的努力よりも価値が低いことを暗に示しているからである。
歴史的先例
苦い教訓は、スケーリングの力に関する初期の観察にルーツを持つ。1960年代、バーナード・ウィドローと彼のスタンフォード大学の学生たちは、単純な学習則を使用し、パターン認識と適応フィルタリングに応用されたAdalineおよびMadalineニューラルネットワークを開発した。これらのシステムは当時のハードウェアによって制限されていたが、特定のタスクにおいて、学習が手動でプログラムされたロジックよりも優れていることを実証した。
1970年代から1980年代にかけて、MYCINやDENDRALなどのエキスパートシステムは、人間の専門知識をルールベースの形式で符号化し、狭い領域で成功を収めた。しかし、これらのシステムは脆く、スケーリングが困難であった。1980年代後半までに、ベル研究所などの研究者たちは、音声認識にニューラルネットワークを適用し、音声学のルールに依存するのではなく、生の音響データから学習するコネクショニスト的アプローチを使用していた。学習された表現への移行は、計算リソースの増加と相まって、サットンが後に体系化したパターンを予示していた。
チェスの例
苦い教訓の最も頻繁に引用される例の一つは、コンピュータチェスである。1950年代から1960年代に開発された初期のプログラムは、チェスマスターとプログラマーによって設計されたヒューリスティック評価関数と探索技術に依存していた。チェスプログラムを含むこれらのシステムは、アレクセイ・エフロスの先駆者たちによって開発され、控えめな成功を収めたが、手作りの知識が不完全であったため、頭打ちとなった。
1997年、IBMのディープ・ブルーは、専用ハードウェア、力ずくの探索、手動で調整された評価関数の組み合わせを使用して、世界チャンピオンのガルリ・カスパロフを破った。ディープ・ブルーはニューラルネットワークではなかったが、その成功は大規模な計算の力を実証した。その後、2017年には、DeepMindのAlphaZeroが、ルール以外の人間が提供するドメイン知識なしに、深層ニューラルネットワークと自己対戦に基づく単一の汎用アルゴリズムを使用して、チェス、将棋、囲碁で超人レベルの性能を達成した。AlphaZeroのアプローチは苦い教訓を具体化したものであった。つまり、計算でスケーリングされた汎用学習手法が、数十年にわたる人間が設計したチェスの知識を上回ったのである。
現代のAIへの応用
苦い教訓は、深層学習と大規模言語モデルの時代に特に影響力を持つようになった。2017年の論文「Attention Is All You Need」で導入されたTransformerアーキテクチャの成功は、タスク固有のエンジニアリングではなく、モデルサイズ、データ、計算のスケーリングに依存していた。OpenAIのGPTシリーズやAnthropicのClaudeなどのモデルは、パラメータとトレーニングデータを増やすことで、推論や翻訳などの創発的な能力が、それらのタスクの明示的なプログラミングなしに現れることを示した。
このパターンは他のドメインにも及ぶ。コンピュータビジョンでは、残差ネットワーク（ResNet）やU-Netが、より深いネットワークを可能にするアーキテクチャの革新を通じて性能を向上させたが、その成功は依然として数百万枚の画像を用いた大規模トレーニングに依存していた。強化学習では、RLHF（人間のフィードバックからの強化学習）やカリキュラム学習などのアルゴリズムがトレーニングを導くために使用されてきたが、中核的な利得はシミュレーションと計算のスケーリングからもたらされる。この原理はまた、人間の監視の役割に関する議論にも情報を提供する。モデル枝刈りやデータ拡張などの技術は効率を追加するが、性能が計算とともに向上するという基本的なスケーリング則を置き換えるものではない。
批判と反論
苦い教訓は普遍的に受け入れられているわけではない。一部の研究者は、特にデータが不足している領域や、安全性と解釈可能性が重要な場合には、人間の知識と帰納的バイアスが依然として不可欠であると主張する。例えば、ジョシュア・テネンバウムとブレンダン・レイクは、因果推論と直感的物理学を取り入れたモデルを提唱し、純粋なスケーリングは人間の認知の構造を捉えられないかもしれないと主張している。同様に、メラニー・ミッチェルは、スケーリングだけでは汎用知能を達成できるかどうかに疑問を呈し、現在のモデルの理解と常識における限界を指摘している。
他の研究者は、苦い教訓は普遍的な法則ではなく歴史的な偶然かもしれないと指摘する。大規模なデータセットとNVIDIA GPUやTSMC製造のチップなどの専用ハードウェアの利用可能性がスケーリングを可能にしたが、これは無限に続くとは限らない。エネルギー制約と高品質データの有限性は将来の進歩を制限する可能性がある。さらに、アリ・ラヒミやサミー・ベンジオを含む一部の研究者は、スケーリングが機能する理由を経験的事実として受け入れるのではなく、より厳密に理解することを求めている。
遺産と継続的な関連性
苦い教訓は、AI研究戦略に関する議論の試金石となっている。これは資金決定に影響を与え、OpenAI、Anthropic、DeepMindなどの企業が計算インフラに多額の投資を行うようになった。また、オープン対クローズド研究の議論にも情報を提供する。スケーリングが主要な推進力であるならば、大規模な計算へのアクセスは戦略的優位性となり、AWS、Azure、Google Cloudなどのクラウドプロバイダーの台頭に見られる。
この原理はAIを超えて、バイオインフォマティクスや計算言語学などの分野にも適用されており、データ駆動手法がルールベースシステムを置き換えている。2020年代半ば現在、苦い教訓は、研究者がスケーリングと構造化知識を組み合わせたハイブリッドアプローチを探求し続けている一方で、AIの軌跡を理解するための中心的な枠組みであり続けている。その永続的な関連性は、研究者への挑戦にある。つまり、人間の直感とあまり一致しない場合や、あまり洗練されていない場合でも、計算とともに改善する方法を優先することである。