Confabulation（作話）とは、意図的に欺こうとする意識なしに、作り上げられた、歪められた、または誤って解釈された記憶や物語を生み出すことである。人間の心理学において、これは記憶の誤りであり、脳が想起の隙間を、もっともらしいが不正確な情報で埋め、しばしば真摯な確信をもって提示する現象を指す。人工知能において、特に大規模言語モデルでは、confabulationは、流暢で首尾一貫した、しかし事実として不正確なテキストを、あたかも真実であるかのようにモデルが生成することを指す。この現象は嘘とは異なり、人間もAIも意図的に誤解させようとはしておらず、誤りは根底にある認知プロセスまたは計算プロセスから生じる。
この用語は臨床神経心理学に起源を持ち、当初は健忘症や脳損傷を持つ患者が偽りの記憶を生み出すことを説明するために使われた。時が経つにつれ、この概念は健常者における類似の行動、そして最近では生成AIシステムにおける行動を説明するために拡張されてきた。どちらの文脈でも、confabulationは記憶の構成的性質と言語生成の確率的基盤を浮き彫りにし、信頼性、信用、知識の限界に関する重要な疑問を提起する。
人間の記憶におけるメカニズム
人間の記憶は完璧な記録装置ではなく、再構成的なプロセスである。出来事を想起する際、脳は保存された情報の断片をつなぎ合わせ、事前知識、期待、感情状態に基づく推論で隙間を埋める。この再構築は、特に元の記憶痕跡が弱いか曖昧な場合に、confabulationを引き起こす可能性がある。神経心理学的研究は、記憶の検索と監視に重要な領域である前頭葉または海馬に損傷を持つ個人でconfabulationがより一般的であることを示している。例えば、慢性アルコール使用にしばしば関連するコルサコフ症候群の患者は、記憶の欠落を隠すために精巧な物語を作話することが多い。健常者では、ストレス、疲労、または示唆的な尋問の下でconfabulationが発生することがあり、これは古典的な目撃証言研究で実証されている。
AIシステムにおけるConfabulation
人工知能において、confabulationはニューラルネットワークのアーキテクチャと深層学習モデルの訓練プロセスから生じる。大規模言語モデルは、膨大なテキストコーパスのパターンに基づいて、シーケンス内の次のトークンを予測するように訓練される。推論中、モデルは可能な続きの確率分布からサンプリングしてテキストを生成する。この確率的メカニズムは本質的に真実と虚偽を区別せず、言語的妥当性のみを目指す。その結果、モデルは自信に満ち、文法的に正しく、文脈に適した、しかし事実として誤った応答を生成できる。この行動はAI文献では「幻覚」と呼ばれることもあるが、出力がランダムな誤りではなく首尾一貫した物語である場合、confabulationはより正確な用語である。
原因と寄与要因
AIシステムにおけるconfabulationの可能性を高める要因はいくつかある。不正確さ、偏見、矛盾を含む訓練データは学習され、再現される可能性がある。モデルの温度パラメータはサンプリングのランダム性を制御し、これも役割を果たす：温度が高いとより多様だが潜在的に精度が低い出力につながる。さらに、モデルは接地された知識ベースやリアルタイム検証を欠いているため、自身の記述の真実性を確認できない。外部データベースにアクセスする検索拡張システムとは対照的に、スタンドアロンモデルは内部パラメータのみに依存し、検証された事実ではなく統計的パターンを符号化する。2017年に導入されたトランスフォーマーアーキテクチャは、これらのモデルが長距離依存関係を処理することを可能にしたが、事実的信頼性の根本的な問題を解決しなかった。
影響と緩和戦略
Confabulationは、医療、法的助言、教育、カスタマーサービスなどの高リスク領域でのAI展開に重大な影響を与える。不正確な医療情報や法的引用を自信を持って提供するモデルは、実際の害を引き起こす可能性がある。これを緩和するため、開発者はいくつかの戦略を採用している。一つのアプローチはAIフィードバックからの強化学習であり、モデルが真実の応答を好むように訓練される。もう一つは、生成中に外部知識源や事実確認メカニズムを組み込むことである。モデル刈り込みや厳選されたデータセットでの微調整も、モデルを信頼できる情報に近づけることでconfabulationを減らすことができる。しかし、どの方法も問題を完全に排除するものではなく、2020年代半ば現在、confabulationは機械学習と生成AIの活発な研究分野であり続けている。
Confabulationと関連概念の区別
Confabulationは他の用語と混同されることが多いが、重要な区別が存在する。嘘とは異なり、confabulationには欺く意図がなく、話者やモデルは出力が真実であると信じている。単純な誤りとは異なり、誤りはランダムで簡単に修正できるかもしれないが、confabulationされた物語は内部的に一貫し、説得力がある。AIにおいて、confabulationは「幻覚」と互換的に使われることがあるが、幻覚は無意味または的外れな出力も指すことができ、confabulationはもっともらしい虚偽を具体的に説明する。これらの違いを理解することは、AI生成コンテンツの信頼性を適切に伝える評価指標とユーザーインターフェースを開発するために重要である。
今後の方向性
Confabulationに関する研究は複数の前線で進展している。認知科学者は、人間の記憶再構築がAI設計にどのように情報を与えるかを研究しており、記憶された事実と推測された推論をより良く区別するモデルにつながる可能性がある。AIでは、事実的不正確さを罰する損失関数の改善、多様な真実の記述にモデルをさらすデータ拡張技術の開発、confabulation率を測定するベンチマークの作成に焦点が当てられている。OpenAI、Anthropic、Google DeepMindなどの企業は幻覚を減らす研究を発表しているが、具体的な技術の公開文書は限られたままである。AIシステムが日常生活にますます統合されるにつれ、confabulationへの対処は信頼構築と責任ある使用を確保するために不可欠となる。