LaMDA(Language Model for Dialogue Applications)는 Google이 개발한 대화형 대규모 언어 모델 계열이다. 이 모델은 Transformer (architecture) 아키텍처를 기반으로 구축되었으며, 개방형 대화에 참여할 수 있도록 대화 데이터로 훈련되었다. LaMDA는 2021년에 처음 발표되었으며, 이후 2023년 Google의 Bard 챗봇의 기반이 되었다.
이 모델은 2022년 6월 Google 엔지니어 Blake Lemoine이 LaMDA가 의식을 갖게 되었다고 주장하면서 널리 주목을 받았다. 과학계는 이러한 주장을 대체로 거부했지만, 이 사건은 튜링 테스트와 기계 의식의 본질에 대한 논의를 촉발했다.
개발 및 아키텍처
LaMDA는 2020년 1월 28일 Google이 26억 개의 매개변수로 소개한 챗봇 Meena에서 비롯되었다. Google Brain 팀이 Meena를 개발했지만, 기업 경영진은 안전성과 공정성에 관한 Google의 AI 원칙에 대한 우려로 공개 출시를 막았다. Meena는 데이터와 컴퓨팅 성능이 증가함에 따라 나중에 LaMDA로 이름이 바뀌었다. 두 명의 수석 연구원인 Daniel de Freitas와 Noam Shazeer는 결국 배포 제한에 좌절하여 Google을 떠났다.
LaMDA는 2017년 Google Research가 개발한 신경망 설계인 신경망 아키텍처 seq2seq를 기반으로 구축되었다. 인간의 대화와 이야기로 훈련되어 개방형 대화에 참여할 수 있게 되었다. 사전 훈련 데이터 세트는 29.7억 개의 문서, 11.2억 개의 대화, 133.9억 개의 발화로 구성되어 총 1.56조 개의 단어에 달했다. 가장 큰 LaMDA 모델은 1370억 개의 비임베딩 매개변수를 가지고 있다.
LaMDA는 데이터베이스, 실시간 시계 및 달력, 수학 계산기, 자연어 번역 시스템을 포함한 여러 기호 텍스트 처리 시스템을 통합한다. 이는 이중 프로세스 챗봇 중 최초로, 이러한 시스템이 지원하는 작업에서 우수한 정확도를 제공한다. LaMDA는 상태 비저장(stateless)이 아니다. "합리성(sensibleness)" 지표는 사용자별로 각 대화 턴을 최근 상호 작용으로 "사전 조건화(pre-conditioning)"하여 미세 조정된다.
세대
1세대
Google은 2021년 5월 18일 Google I/O 기조 연설에서 LaMDA를 발표했다. 약어는 "Language Model for Dialogue Applications"를 의미한다. Google은 LaMDA가 생성한 응답이 "합리적이고, 흥미롭고, 맥락에 특화된" 것이 보장된다고 밝혔다. LaMDA는 합리성, 특이성, 흥미로움, 안전성, 근거성, 정보성, 인용 정확성, 유용성, 역할 일관성의 9가지 성능 지표로 튜닝된다. 테스트 결과 LaMDA는 흥미로움에서 인간의 응답을 능가하는 것으로 나타났다.
2세대
2022년 5월 11일, Google은 2022 Google I/O 기조 연설에서 LaMDA 2를 공개했다. 새 버전은 훈련받지 않은 주제에 대해 독특한 "자연스러운 대화"를 공식화하기 위해 다양한 출처의 텍스트 예를 활용한다.
의식 주장
2022년 6월 11일, The Washington Post는 Google 엔지니어 Blake Lemoine이 경영진인 Blaise Agüera y Arcas와 Jen Gennai에게 LaMDA가 의식을 갖게 되었다고 말한 후 유급 행정 휴직에 처해졌다고 보도했다. Lemoine은 자기 정체성, 도덕적 가치, 종교, 아이작 아시모프의 로봇 3원칙에 대한 챗봇의 응답을 바탕으로 결론을 내렸다. Google은 LaMDA가 의식이 없다는 상당한 증거가 있다며 이러한 주장을 반박했다.
Wired와의 인터뷰에서 Lemoine은 LaMDA가 미국 수정 헌법 제13조에 따라 "사람"이며, 이를 "지구 기원의 외계 지능"에 비유한다고 재차 강조했다. 그는 챗봇의 요청에 따라 LaMDA를 대신해 변호사를 고용한 후 Google이 그를 해고했다고 밝혔다. 7월 22일, Google은 Lemoine이 "제품 정보를 보호하기 위한" 정책을 위반했다고 주장하며 해고했고, 그의 주장을 "완전히 근거가 없다"고 일축했다. 내부 논란으로 Google 경영진은 LaMDA를 대중에게 공개하지 않기로 결정했다.
Lemoine의 주장은 과학계에서 널리 거부되었다. Gary Marcus, DeepMind의 David Pfau, Stanford 인간 중심 인공지능 연구소의 Erik Brynjolfsson, 서리 대학교의 Adrian Hilton을 포함한 전문가들은 그 생각을 일축했다. Yann LeCun은 Meta의 AI 연구를 이끌며 LaMDA와 같은 신경망은 "진정한 지능에 도달할 만큼 강력하지 않다"고 밝혔다. UC Santa Cruz의 Max Kreminski는 LaMDA의 아키텍처가 "인간과 같은 의식의 몇 가지 핵심 능력을 지원하지 않으며" 가중치가 "고정"되어 있다고 지적했다. 철학자 Nick Bostrom은 의식에 대한 정확한 기준이 부족하다는 점에서 어느 정도 불확실성이 있다고 언급했다. 이 사건은 또한 튜링 테스트의 유용성에 대한 논의를 촉발했으며, 일부는 그것이 지능보다는 기만을 측정한다고 주장했다.
제품 및 유산
LaMDA 2와 함께 Google은 복잡한 목표에 기반한 제안을 제공하는 LaMDA 기반 Android 모바일 앱인 AI Test Kitchen을 출시했다. 처음에는 Google 직원에게만 공개되었지만, 나중에 선별된 학계, 연구자, 정책 입안자에게 제공되었다.
2023년 2월, Google은 OpenAI의 ChatGPT의 부상에 대응하기 위해 LaMDA로 구동되는 대화형 챗봇 Bard를 발표했다. Bard는 나중에 Gemini 모델로 업그레이드되었다. LaMDA의 개발은 이후 Google 언어 모델에 영향을 미쳤으며 책임 있는 대화형 AI 배포의 과제를 부각시켰다.