ユージーン・グーストマンは、13歳のウクライナ人少年を模倣するように設計されたチャットボットプログラムである。2001年にロシア生まれのプログラマー、ウラジーミル・ヴェセロフとウクライナ生まれのプログラマー、ユージーン・デムチェンコによって作成された。このチャットボットは、2014年6月にロンドンの王立協会で開催されたチューリングテストで初めて合格したプログラムとなり、5分間のテキスト会話中に人間の審査員の33%を人間だと納得させ、国際的な注目を集めた。
ユージーン・グーストマンの人格は、英語を母語とせず、言語能力が限定的で、若々しく回避的な性格を持つように意図的に設計されている。この設計上の選択は、チャットボットが無知を主張したり、話題を変えたり、ユーモラスな頓珍漢な返答をしたりすることで、難しい質問をかわすのに役立っている。作成者らは、この人格の癖が審査員にとってより信憑性を高めると主張した。なぜなら、第一言語が英語でない10代の少年には、軽微な文法上の誤りや的外れな応答が予想されるからである。
歴史と開発
ヴェセロフとデムチェンコは、2001年に二人とも学生だった頃にユージーン・グーストマンの開発を始めた。このプロジェクトは当初は趣味だったが、10年以上にわたる改良を経て発展した。チャットボットの名前は、ヴェセロフの名（ユージーン）とデムチェンコの姓（デムチェンコ、グーストマンに適応）を組み合わせたものである。このプログラムは、現代の機械学習やニューラルネットワークの技術ではなく、ルールベースのアーキテクチャ上に構築された。大量のスクリプト化された応答のデータベース、パターンマッチング、およびヒューリスティックなルールに依存して応答を生成していた。
2014年のチューリングテストイベントは、レディング大学の教授であるケビン・ワーウィックによって組織され、5つのチャットボットが30人の人間の審査員と競った。各審査員は、チャットボットと人間とそれぞれ5分間の別々の会話を行い、どちらが人間かを判断した。ユージーン・グーストマンは33%の成功率を達成し、アラン・チューリングが1950年の論文で機械知能の基準として提案した30%の閾値を超えた。この結果は世界中のメディアで広く報じられたが、人格の回避性がテストの限界を不当に利用していると主張する研究者からの批判も招いた。
技術的アプローチ
OpenAIやGoogle DeepMindによって開発されたものなどの現代の大規模言語モデルシステムとは異なり、ユージーン・グーストマンは深層学習やトランスフォーマーのアーキテクチャを使用していない。その中核は、決定論的なルールベースのシステムである。チャットボットは会話の短期記憶を維持し、キーワードマッチングを使用して数千の事前に書かれた応答から選択する。また、ジョージという名前のモルモットと歯科医の母親がいることを主張するなど、一貫した架空のアイデンティティを作り出すための「性格特性」のセットを採用している。
このプログラムは元々C言語で書かれ、後に他の言語に移植された。標準的なパーソナルコンピュータで動作し、AWS TrainiumやGroqアクセラレータのような特殊なハードウェアを必要としなかった。作成者らは定期的に応答データベースを更新し、テスターからのフィードバックに基づいて新しい会話パターンを追加した。しかし、基本的なアーキテクチャは変更されず、新しいトピックや複雑な推論タスクを処理する能力が制限されていた。
チューリングテストの論争
2014年の結果は、人工知能コミュニティ内で重要な議論を引き起こした。メラニー・ミッチェルなどの批評家や他の研究者は、ユージーン・グーストマンの成功は、真の知能というよりもテストの設計上の欠陥を反映したものであると主張した。チャットボットの人格は直接的な質問への回答を避けることを可能にし、その文法上の誤りは機能ではなくトリックと見なされた。33%という数字は30%の閾値をわずかに上回るだけで、サンプルサイズが小さい（審査員30人、チャットボット5つ）ため、結果は統計的に脆弱であると指摘する者もいた。
支持者は、このテストは人間とコンピュータの相互作用における画期的な出来事であり、制約された環境で巧みに作られた人格が人間を欺くことができることを実証したと反論した。このイベントはまた、狭い会話能力と一般的な知能の違いを浮き彫りにし、この区別は現代の生成AIシステムに関する議論の中心であり続けている。この論争は、ウィノグラード・スキーマ・チャレンジや、その後の大規模言語モデル推論のベンチマークなど、より厳密な評価方法の開発に貢献した。
遺産と影響
ユージーン・グーストマンの名声は短命だったが、影響力はあった。チャットボットのパフォーマンスを向上させるために架空の人格を使用するというアイデアを広め、この技術は後に一部の商用アシスタントによって採用された。このプログラムはまた、2010年代後半の深層学習とトランスフォーマーモデルの台頭によってすぐに影を潜めたルールベースシステムの限界についての警告の物語としても機能した。
今日、ユージーン・グーストマンは主に歴史的な珍品である。作成者らは他のプロジェクトに取り組み続けたが、チャットボット自体はもはや積極的に維持されていない。2014年のイベントは、チューリングテストと機械知能の哲学に関する議論において言及される参照点であり続け、チェスコンピュータの勝利のような初期のマイルストーンと並んで引用されることが多い。ChatGPTやGeminiのような現代のシステムは、能力においてユージーン・グーストマンをはるかに上回っているが、その物語は、巧妙な設計と人間の心理が、狭い文脈において機械と人間の境界線を曖昧にし得ることを示している。