LaMDA（Language Model for Dialogue Applications）は、Googleによって開発された対話型大規模言語モデルのファミリーである。これらのモデルはTransformer (architecture)アーキテクチャに基づいて構築され、対話データで訓練され、自由形式の会話に参加することを目的としている。LaMDAは2021年に初めて発表され、後に2023年にGoogleのBardチャットボットの基盤となった。
このモデルは、2022年6月にGoogleのエンジニアであるBlake LemoineがLaMDAが感覚を持つようになったと主張した際に広く注目を集めた。科学界はこれらの主張をほぼ全面的に否定したが、この出来事はチューリングテストと機械意識の性質に関する議論を引き起こした。
開発とアーキテクチャ
LaMDAは、2020年1月28日にGoogleが導入した26億パラメータを持つチャットボットMeenaに由来する。Google BrainチームがMeenaを開発したが、企業幹部は安全性と公平性に関するGoogleのAI原則への懸念から、その公開リリースを阻止した。Meenaは後に、データと計算能力が増加するにつれてLaMDAと改名された。2人の主任研究者であるDaniel de FreitasとNoam Shazeerは、最終的に展開制限に不満を抱き、Googleを去った。
LaMDAは、2017年にGoogle Researchが開発したニューラルネットワーク設計であるseq2seqアーキテクチャに基づいている。これは人間の対話と物語で訓練され、自由形式の会話に参加できるようにしている。事前訓練データセットは29.7億の文書、11.2億の対話、133.9億の発話で構成され、合計1.56兆語に達する。最大のLaMDAモデルは1370億の非埋め込みパラメータを持つ。
LaMDAは、データベース、リアルタイム時計とカレンダー、数学計算機、自然言語翻訳システムなど、複数の記号テキスト処理システムを統合している。これにより、デュアルプロセスチャットボットの先駆けの1つとなり、これらのシステムがサポートするタスクで優れた精度を実現している。LaMDAはステートレスではなく、その「妥当性」指標は、ユーザーごとに最近のやり取りで各対話ターンを「事前調整」することで微調整されている。
世代
第一世代
Googleは2021年5月18日のGoogle I/O基調講演でLaMDAを発表した。この頭字語は「Language Model for Dialogue Applications」を表す。Googleは、LaMDAによって生成された応答が「妥当で、興味深く、文脈に固有である」ことを保証すると述べた。LaMDAは、妥当性、特異性、興味深さ、安全性、根拠性、情報性、引用精度、有用性、役割一貫性の9つのパフォーマンス指標で調整されている。テストでは、LaMDAが興味深さにおいて人間の応答を上回ることが示された。
第二世代
2022年5月11日、Googleは2022年のGoogle I/O基調講演でLaMDA 2を発表した。新しいバージョンは、多数のソースからテキストの例を引き出して、訓練されていない可能性のあるトピックについて独自の「自然な会話」を形成する。
感覚を持つという主張
2022年6月11日、ワシントン・ポストは、GoogleエンジニアのBlake Lemoineが、幹部のBlaise Agüera y ArcasとJen GennaiにLaMDAが感覚を持つようになったと伝えた後、有給休職にされたと報じた。Lemoineは、自己同一性、道徳的価値観、宗教、アイザック・アシモフのロボット工学三原則に関する質問へのチャットボットの応答に基づいて結論を下した。Googleはこれらの主張を否定し、LaMDAが感覚を持たないという実質的な証拠があると述べた。
Wiredとのインタビューで、Lemoineは、LaMDAが米国憲法修正第13条に基づく「人」であり、それを「地上起源の異星知性」に例えたと繰り返し述べた。彼は、チャットボットの要請に従ってLaMDAのために弁護士を雇った後、Googleが彼を解雇したことを明らかにした。7月22日、GoogleはLemoineを解雇し、彼が「製品情報を保護する」ポリシーに違反したと主張し、彼の主張を「完全に根拠がない」として拒否した。内部の論争により、Google幹部はLaMDAを一般公開しないことを決定した。
Lemoineの主張は科学界によって広く否定された。Gary Marcus、DeepMindのDavid Pfau、スタンフォード大学人間中心AI研究所のErik Brynjolfsson、サリー大学のAdrian Hiltonなどの専門家がこの考えを退けた。MetaのAI研究を率いるYann LeCunは、LaMDAなどのニューラルネットワークは「真の知能を達成するには十分に強力ではない」と述べた。UCサンタクルーズのMax Kreminskiは、LaMDAのアーキテクチャが「人間のような意識のいくつかの重要な能力をサポートしていない」こと、その重みが「凍結されている」ことを指摘した。哲学者のNick Bostromは、意識の正確な基準が欠如しているため、ある程度の不確実性が正当化されると指摘した。この出来事はまた、チューリングテストの有用性に関する議論を引き起こし、一部はそれが知能ではなく欺瞞を測定すると主張した。
製品と遺産
LaMDA 2により、GoogleはAI Test Kitchenを立ち上げた。これはLaMDAを搭載したAndroid向けモバイルアプリで、複雑な目標に基づく提案を提供する。当初はGoogle従業員のみに公開されていたが、後に選ばれた学者、研究者、政策立案者に利用可能となった。
2023年2月、GoogleはOpenAIのChatGPTの台頭に対抗するため、LaMDAを搭載した対話型チャットボットBardを発表した。Bardは後にGeminiモデルにアップグレードされた。LaMDAの開発は、その後のGoogle言語モデルに影響を与え、対話型AIを責任を持って展開する課題を浮き彫りにした。