チューリングテストは、機械が人間と見分けがつかない会話行動を示すことができるかどうかを評価するための基準である。数学者アラン・チューリングが1950年の論文「Computing Machinery and Intelligence」で提唱したもので、「機械は考えることができるか」という問いを、経験的な「模倣ゲーム」として再構成する。人間の審判が、一方は人間、もう一方は機械という2人の隠れた参加者とテキストベースの会話を行い、どちらがどちらかを判断する。審判が機械と人間を確実に区別できない場合、その機械はテストに合格したとみなされる。
チューリングは、このテストを、機械の意識や思考に関する哲学的に厄介な問いに対する実用的な代替手段として意図し、形而上学的な議論を避けて、観察可能な行動基準に焦点を当てた。このテストは、人工知能という分野が設立される6年前に存在しており、「人工知能」という用語自体は、ジョン・マッカーシーやマービン・ミンスキーらが主催した1956年のダートマス会議で造られたもので、彼らはチューリングの枠組みに影響を受けていた。
起源と形式
チューリングの当初の定式化には、人間の尋問者、人間の回答者、機械の3人の参加者が関与しており、声や外見の手がかりを排除するために、テキスト入力のみで通信していた。その後開発された変種には、審判が単に1つの存在とチャットして人間かどうかを推測する「標準的な」2参加者版や、1990年から2019年まで毎年開催され、無制限の合格を達成したものはないものの、最も説得力のある人間らしいチャットボットに賞を授与したローブナー賞などの公式競技が含まれる。
初期の試みと批判
ジョセフ・ワイゼンバウムが1966年にロジャーズ派心理療法士を模倣するために作成したELIZAのようなプログラムは、単純なパターンマッチングを使用して理解ではなく模倣を行っていたにもかかわらず、一部のユーザーを人間と話していると信じ込ませた。ワイゼンバウムは後に、機械知能を過大評価することに対する著名な批判者となり、会話形式を模倣するだけのシステムに人々が理解を帰属させる傾向は、現在では「エリザ効果」と呼ばれることが多い。
批評家は長い間、このテストは知能ではなく欺瞞を測定していると主張してきた。哲学者ジョン・サールの1980年の「中国語の部屋」思考実験は、システムが真の理解なしに記号を説得力を持って操作できると論じ、思考の指標としてのテストの妥当性に異議を唱えている。また、このテストは人間中心主義的であり、正確で有能な行動よりも人間らしい癖や誤りを報酬とすること、また、狭く訓練されたチャットボットが一般的な推論ではなく会話のトリックで合格する可能性があることを指摘する声もある。
現代における関連性
2022年11月のChatGPTの登場以来、大規模な大規模言語モデルシステムの台頭により、このテストの関連性に関する議論が再燃している。2023年以降のいくつかの非公式および学術研究では、現代の会話モデルが短いやり取りで人間の審判を、人間の協力者と同等かそれ以上の割合で欺くことができると報告されているが、方法論と決定的な「合格」の主張は依然として議論の的となっている。多くの研究者は現在、チューリングテストを、機械知能や汎用人工知能の有意義な尺度というよりも、興味深い歴史的ベンチマークと見なしており、流暢な会話が、現在この分野が一般的知能と関連付ける広範な推論、計画、および基盤のある理解を必ずしも意味しないことを指摘している。自然言語処理と推論におけるより的を絞ったベンチマーク（ARC-AGIなどのテストを含む）は、研究ツールとしてそれをほぼ取って代わっているが、チューリングテストは「機械は人間らしく見えるか」という意味での略語として大衆文化の中で存続している。