확률적 앵무새는 훈련 데이터의 패턴을 통계적으로 재조합하여 그럴듯한 텍스트를 유창하게 재생산하지만, 자신이 생성하는 단어 뒤에 숨은 의미에 대한 실제 이해는 없는 언어 모델을 가리키는 용어이다. 이 표현은 2021년 논문 "확률적 앵무새의 위험성: 언어 모델이 너무 커질 수 있는가?"의 제목에서 유래했으며, 이 논문은 에밀리 벤더, 팀닛 게브루, 안젤리나 맥밀런-메이저, 마가렛 미첼이 작성했고, 이후 GPT-3급 시스템과 ChatGPT를 탄생시킬 대규모 언어 모델 연구 방향에 대한 가장 많이 인용되고 가장 논쟁적인 비판 중 하나가 되었다.
이 논문은 웹에서 수집한 텍스트로 훈련된 점점 더 큰 언어 모델이 심각한 위험을 수반한다고 주장했다: 환경적 및 재정적 비용, 필터링되지 않은 훈련 코퍼스에서 비롯된 편향의 각인 및 증폭, 그리고 연구자와 대중 모두가 유창한 출력을 진정한 이해로 착각하는 경향 등이 그것이다.
기원과 논란
이 논문의 발표는 게브루가 2020년 12월 구글을 떠난 사건과 얽혀 있었으며, 그녀는 구글이 논문을 철회하거나 구글 소속 공동 저자의 이름을 빼도록 요구한 데 대한 해고였다고 말했고, 구글은 사직으로 설명했다. 이 사건은 주요 연구소의 AI 윤리 연구팀과 제품 팀 간의 내부 긴장에 광범위한 주목을 끌었고, AI 윤리 분야에서 가장 널리 논의된 사건 중 하나가 되었다. 벤더와 게브루의 더 넓은 주장은 자연어 처리 연구에서 훈련 데이터 품질과 웹 규모 코퍼스 감사 어려움에 대한 이전 우려를 확장한 것이었다.
핵심 주장
언어 모델은 이전 맥락이 주어졌을 때 통계적으로 가능성 있는 다음 토큰을 예측하도록 훈련되며, 저자들은 이 목표가 단어를 실제 세계의 의미나 의도에 연결하지 않고 설득력 있는 형식을 생산한다고 주장했다. 이는 AI의 Grounding (AI)이라는 더 넓은 문제와 밀접하게 관련된 우려이다. 논문은 이러한 근거 없는 유창성이 환각 및 편향된 콘텐츠를 특히 위험하게 만든다고 경고했는데, 인간 독자가 유창한 텍스트에 본능적으로 이해와 신뢰성을 부여하기 때문이다.
수용과 이후 논쟁
이 용어는 심각한 연구 비판으로서뿐만 아니라 LLM 열광에 대한 수사적 모욕으로도 일반적인 사용에 들어갔다. 스케일링 지지자들은 이후 창발적 능력과 추론, 도구 사용, 다단계 계획 능력으로 보이는 모델에 대한 연구가 순수한 "확률적" 특성화를 복잡하게 만든다고 반박했지만, 비판자들은 유창한 출력이 검증된 이해와 여전히 구별 가능하다고 주장한다. 이 논쟁은 해결되지 않은 채로 남아 있으며, 대규모 언어 모델이 실제로 무엇을 아는지 대 단순히 재생산하는지에 대한 논의를 계속 형성하고 있으며, 대량 생산된 기계 텍스트의 저품질 측면을 설명하는 AI 슬롭과 같은 이후 용어에도 울려 퍼진다.