기계 학습에서 "확률적 앵무새"는 대규모 언어 모델(LLM)을 진정한 이해 없이 통계적으로 텍스트를 모방하는 시스템으로 묘사하는 은유이다. "확률적"이라는 단어는 고대 그리스어 "στοχαστικός"(stokhastikos, "추측에 기반한"이라는 뜻)에서 유래했으며, 확률 이론에서는 "무작위로 결정된"을 의미하고, "앵무새"는 새가 인간의 말을 모방하는 능력을 가리킨다. 이 표현은 Timnit Gebru, Emily M. Bender, Angelina McMillan-Major, Margaret Mitchell이 쓴 2021년 논문 "확률적 앵무새의 위험성: 언어 모델이 너무 클 수 있는가? 🦜"에서 처음 소개되었으며, 이 논문은 대규모 언어 모델의 잠재적 위험을 개괄했다. 이 논문은 그 주장뿐만 아니라 2020년 12월 Gebru와 Google 간의 직장 내 분쟁에서의 역할로도 유명해졌으며, 그녀의 논란의 여지가 있는 퇴사와 AI 커뮤니티의 광범위한 논쟁을 이끌었다. 이 용어는 이후 생성형 AI에 대한 학술 연구에서 주목을 받았으며, AI 시스템에 대한 모욕으로 부정적으로 해석되기도 했다.
배경 및 2020년 분쟁
Timnit Gebru는 AI 윤리 연구자로 2018년 Google에 합류했으며, 그곳에서 알고리즘 편향을 전문으로 하는 컴퓨터 과학자 Margaret Mitchell과 함께 윤리적 인공지능 팀을 공동 이끌었다. Emily M. Bender는 전산 언어학 분야의 연구로 알려진 언어학자이다. Gebru와 다른 연구자 5명(그중 4명은 Google 직원)이 공동 작성한 이 논문은 2021년 ACM 공정성, 책임성, 투명성 회의에 제출되었다. 이 논문은 LLM이 환경 및 재정 비용, 알 수 없는 위험한 편향을 초래하는 난해함, 그리고 이러한 모델이 학습하는 기저 개념을 이해하지 못하기 때문에 발생하는 기만 가능성을 포함한 심각한 위험을 제시한다고 주장했다.
이 논문은 LLM을 "방대한 훈련 데이터에서 관찰된 언어 형태의 시퀀스를... 어떻게 결합되는지에 대한 확률적 정보에 따라 꿰매어 붙이지만, 의미에 대한 참조 없이" 수행하는 것으로 묘사하여 "확률적 앵무새"라는 별명을 얻게 되었다. 제출 후 Google은 Gebru에게 논문을 철회하거나 Google 직원의 이름을 삭제할 것을 요청했다. Gebru는 추가 논의 없이 거부했으며, Google Research 부사장 Megan Kacholia에게 회사가 철회 요청을 설명하고 유사한 프로젝트에 대한 다른 우려를 해결하지 못한다면 전환 기간 후 사임할 계획이라고 이메일로 알렸다. 다음 날인 2020년 12월 2일, Google은 "그녀의 사임을 수락한다"는 이메일을 보냈다. 갑작스러운 해고는 Google 직원들의 항의를 불러일으켰고 회사에 부정적인 평판을 안겼다.
사용 및 대중적 채택
"확률적 앵무새"라는 표현은 AI 회의론자와 연구자들이 LLM이 출력의 의미를 이해하지 못한다는 점을 나타내기 위해 채택했다. OpenAI의 CEO인 Sam Altman은 2022년 12월 ChatGPT 출시 직후 이 용어를 사용하며 "나는 확률적 앵무새이고, 너도 마찬가지다"라고 트윗했다. 이 용어는 미국 방언 학회에 의해 2023년 AI 관련 올해의 단어로 후보에 올랐다.
이해 vs. 모방에 대한 논쟁
ChatGPT와 같은 LLM이 설득력 있게 인간과 같은 대화로 사용자와 상호작용하기 시작하면서, 이러한 시스템이 진정으로 이해하는지 아니면 단순히 언어를 "앵무새"처럼 흉내 내는지에 대한 질문이 깊어졌다. 기계 학습 연구자 Lindholm, Wahlström, Lindsten, Schön은 두 가지 중요한 한계를 강조했다: LLM은 훈련된 데이터에 제한되며 해당 콘텐츠를 확률적으로 반복할 뿐이고, 패턴에 기반하여 출력을 생성하기 때문에 부정확하거나 부적절한 내용을 말하고 있는지 알지 못한다는 것이다. 그들은 이러한 한계가 저품질 데이터 세트에서 "위험하게 잘못된" 결과를 초래할 수 있다고 지적했다.
주관적 경험
지지자들은 인간의 마음에서 단어는 실제 세계의 경험에 대응하지만, LLM의 경우 단어는 훈련 데이터의 다른 단어와 패턴에만 대응한다고 주장한다. 따라서 LLM의 의미에 대한 진술은 LLM이 실제로 언어를 이해하지 못함에도 불구하고 "인간이 텍스트에 의미를 부여하는 경향"에서 비롯된다고 그들은 주장한다.
미세 조정 및 반론
Kelsey Piper는 확률적 앵무새 은유가 사전 훈련에 초점을 맞추고 LLM이 지침을 따르고 정확한 답변을 선호하도록 훈련하는 현대의 미세 조정 과정을 무시한다고 주장했다. 다른 연구자들은 벤치마크를 증거로 지적한다: GPT-4는 변호사 시험에서 90백분위 이상을 기록했고, 고등학교 올림피아드 문제로 구성된 MATH 벤치마크에서 93% 정확도를 달성했는데, 이는 단순한 암기식 패턴 매칭 기대치를 초과하는 성과이다. 2022년 설문 조사에 따르면 AI 전문가의 51%가 충분한 데이터가 있으면 LLM이 언어를 진정으로 이해할 수 있다고 믿지만, 많은 전문가가 이 견해에 이의를 제기한다.
환각 및 한계
확률적 앵무새 아이디어의 지지자들은 LLM이 사실이 아닌 정보를 사실로 제시하는 환각(또는 확증 편향)을 이러한 시스템이 단어를 세계 이해와 연결하지 않는다는 증거로 지적한다. 또한 복잡하거나 모호한 문법에서의 실패를 인용한다. 예를 들어, 문장 쌍이 주어졌을 때: "테이블에서 떨어진 젖은 신문은 내가 가장 좋아하는 신문이다. 하지만 이제 내가 좋아하는 신문이 편집자를 해고해서 더 이상 읽고 싶지 않을 수도 있다. 두 번째 문장에서 '내가 좋아하는 신문'을 '테이블에서 떨어진 젖은 신문'으로 바꿀 수 있나요?" GPT-4는 "예"라고 응답했지만, 첫 번째 맥락에서 "신문"은 사물을, 두 번째 맥락에서는 조직을 가리킨다는 점을 놓쳤다.
지속적인 연구와 워크숍
2024년, Scientific American 조사는 비공개 Berkeley 워크숍에서 최신 모델이 새로운 4단계 수학 문제를 해결한 것을 설명했으며, 이는 일부 LLM이 훈련 데이터에 직접 포함되지 않은 작업을 수행할 수 있음을 시사한다. 그러나 이러한 관찰은 여전히 해석의 대상이며, LLM이 진정한 이해를 갖는지 아니면 단순한 패턴 일치에 불과한지에 대한 논쟁을 완전히 해결하지 못했다.