Euriskoは、1970年代後半から1980年代前半にかけて、スタンフォード大学、その後マイクロエレクトロニクス・アンド・コンピュータテクノロジーコーポレーション（MCC）で計算機科学者ダグラス・レナットによって開発された、先駆的な人工知能プログラムである。このプログラムは、一般的および特定領域のヒューリスティック（問題解決のための経験則）の知識ベースを使用し、既存のヒューリスティックをその性能に基づいて変更、結合、または置換できる一連のメタヒューリスティックを適用することで、ヒューリスティックを発見し洗練するように設計された。Euriskoは、時間の経過とともに自身の問題解決戦略を改善できる自己修正アーキテクチャと、数学、ゲームプレイ、科学的発見などの領域で新しいヒューリスティックを発見した成功で注目に値する。
Euriskoの開発は、知識ベースシステムとヒューリスティック探索に焦点を当てた1970年代の人工知能におけるより広範な研究努力の一部であった。固定アルゴリズムに依存した初期のプログラムとは異なり、Euriskoはヒューリスティック発見のプロセスを自動化することを目指しており、現代の機械学習やメタ学習アプローチの先駆けとなった。その名前はギリシャ語の「私は発見する」に由来し、既知の解決策を適用するだけでなく新しい解決策を見つけるという目標を反映していた。
起源と開発
Euriskoは、1976年に数学的概念と予想を発見したAM（自動数学者）プログラムを以前に開発したダグラス・レナットによって考案された。AMは探索を導くために一連のヒューリスティックを使用したが、レナットはヒューリスティックが静的であるためにその性能が頭打ちになることを観察した。これに対処するため、彼はEuriskoを、ヒューリスティックを他のヒューリスティックによって検査、評価、修正できる第一級オブジェクトとして扱うように設計した。このプログラムはLispプログラミング言語で実装され、記号操作と自己参照を容易にした。
レナットはスタンフォード大学でEuriskoを開発し、1984年からはテキサス州オースティンのMCCで研究を続けた。このプログラムは、数論の概念の発見、パズル解決、ゲームプレイなど、さまざまなタスクでテストされた。Euriskoのアーキテクチャは、それぞれ条件とアクションを持つヒューリスティックのグローバルメモリと、これらのヒューリスティックの作成、削除、変更を制御するメタヒューリスティックのセットで構成されていた。プログラムはクレジット割り当ての形式を使用して、どのヒューリスティックが成功した結果に貢献したかを追跡し、効果的なルールを強化し、効果のないルールを破棄できるようにした。
成果と応用
Euriskoの最も有名な成果の1つは、SF戦争ゲームであるTraveller TCSでのパフォーマンスである。1981年、Euriskoは最小限の人間のガイダンスで、全国トーナメントで人間が設計した艦隊を破る艦隊を設計し、優勝を勝ち取った。このプログラムの成功は、ゲームのルールを人間のプレイヤーが考慮していなかった方法で悪用する特定の武器と装甲構成を持つ艦船を設計するなど、型にはまらないヒューリスティックを発見する能力に起因していた。しかし、ゲームのルールは後にEuriskoの戦略を防ぐために変更され、プログラムが非自明な解決策を見つける能力を強調した。
数学では、Euriskoは集合論と数論の概念を探求するために使用され、既知の結果を再発見し、時折新しい予想を提案した。例えば、特定の数学的構造間の関係を特定したが、その発見は常に画期的というわけではなかった。Euriskoはまた、化学反応のルールを仮説化するなど、科学的発見の可能性も示したが、これらの応用はゲームプレイでの成功ほど発展していなかった。
アーキテクチャと方法
Euriskoの核心的な革新は、自己修正ヒューリスティックシステムであった。プログラムは、それぞれ条件とアクションを持つルールとして表されるヒューリスティックの知識ベースを維持した。メタヒューリスティックは、それ自体がヒューリスティックであり、他のヒューリスティックに適用でき、Euriskoが既存のものを結合、特殊化、または一般化して新しいルールを生成できるようにした。プログラムは「ヒューリスティック探索」と呼ばれるメカニズムを使用して、過去の性能と新規性に基づいてルールの潜在的な価値を推定する効用関数によって導かれる、可能なヒューリスティックの空間を探索した。
Euriskoは強化学習の一形態を採用し、目標の達成における成功に基づいてヒューリスティックの強度を更新した。また、Curriculum Learningに似た技術を使用し、試みるタスクの複雑さを徐々に増加させた。プログラムがシンボリックレベルで自身のコードを変更する能力は、通常数値パラメータを調整する後の統計的アプローチとは区別された。Euriskoのアプローチは、Artificial intelligenceの活発な研究分野であり続けるプログラム合成と自動発見に近いものであった。
影響と遺産
Euriskoは、メタ学習と自己改善AIシステムに関するその後の研究に影響を与えた。自動ヒューリスティック発見に関するそのアイデアは、Neural networkアーキテクチャ探索やMachine learningハイパーパラメータ最適化などの現代の技術を予見した。しかし、Euriskoの成功は、計算上の制約と、そのシンボリックアプローチを大規模な実世界の問題に拡張することの難しさによって制限された。レナットは後に常識知識をエンコードすることを目的としたCycプロジェクトに焦点を移し、Euriskoは1980年代半ば以降積極的に開発されなかった。
その古さにもかかわらず、Euriskoは自身を改善できるAIシステムの注目すべき例であり続けており、これはGenerative AIやLarge language model開発の研究を推進し続ける目標である。その遺産は、現代のAIにおける自動発見と適応アルゴリズムへの強調に明らかであるが、現代のシステムはシンボリックヒューリスティックではなくDeep learningやTransformer (architecture)アーキテクチャに依存している。Euriskoは、AIの歴史と真に自律的な問題解決システムを作成する課題の議論でしばしば引用される。
現代のAIとの比較
Euriskoは明示的なシンボリックルールで動作したのに対し、Large language modelのような現代のAIシステムは、膨大なデータセットから学習された統計的パターンを使用する。Euriskoの自己修正は意図的で解釈可能であったが、現代のモデルはStochastic Gradient Descent VariantsやBackpropagationに似た方法を通じて重みを調整し、これはあまり透明ではない。Euriskoは初期ヒューリスティックの手動指定を必要としたが、現代のシステムは生データから学習する。しかし、両方のアプローチは経験を通じてパフォーマンスを改善するという目標を共有しており、新しい戦略を発見するEuriskoの強調は、Reinforcement Learning from AI Feedback (RLAIF)や自動プロンプトエンジニアリングの現在の研究と共鳴する。
Euriskoの限界、例えば手作りの知識への依存やスケーリングの難しさは、高次元データと複雑なタスクを処理できる現代のNeural networkアプローチの利点を強調する。それでも、自己改善とヒューリスティック発見へのEuriskoの概念的な貢献は関連性を保ち、その物語はシンボリック推論からMachine learningへのAIの進化についての洞察を提供する。
参考文献とさらなる読書
- Lenat, D. B. (1983). "Eurisko: A program that learns new heuristics and domain concepts." Artificial Intelligence, 21(1-2), 61-98.
- Lenat, D. B., & Brown, J. S. (1984). "Why AM and Eurisko appear to work." Artificial Intelligence, 23(3), 269-294.
- Buchanan, B. G., & Shortliffe, E. H. (1984). "Rule-Based Expert Systems." Addison-Wesley.
これらの著作は、Euriskoの設計、実験、理論的基盤の詳細な説明を提供し、1980年代のArtificial intelligence研究のより広い文脈の中でプログラムを位置づけている。