Confabulation은 의도적인 기만 없이 조작되거나 왜곡되거나 잘못 해석된 기억이나 서사를 생성하는 것을 말한다. 인간 심리학에서 이는 기억 오류로, 뇌가 회상의 공백을 그럴듯하지만 부정확한 정보로 채우며 종종 진심 어린 확신을 가지고 제시하는 경우를 가리킨다. 인공지능, 특히 대규모 언어 모델에서 confabulation은 사실과 다른 텍스트를 유창하고 일관성 있게 생성하면서 마치 사실인 것처럼 제시하는 것을 의미한다. 이 현상은 인간과 AI 모두 의도적으로 오해를 유도하려는 것이 아니라는 점에서 거짓말과는 구별된다. 허위는 근본적인 인지 또는 계산 과정에서 비롯된다.
이 용어는 임상 신경심리학에서 유래했으며, 처음에는 기억상실이나 뇌 손상이 있는 환자가 거짓 기억을 생성하는 것을 설명하는 데 사용되었다. 시간이 지나면서 이 개념은 건강한 개인과 최근에는 생성형 AI 시스템에서 유사한 행동을 설명하는 데까지 확장되었다. 두 맥락 모두에서 confabulation은 기억의 구성적 본질과 언어 생성의 확률적 기반을 강조하며, 신뢰성, 신뢰, 지식의 한계에 관한 중요한 질문을 제기한다.
인간 기억의 메커니즘
인간의 기억은 완벽한 녹음 장치가 아니라 재구성 과정이다. 사건을 회상할 때 뇌는 저장된 정보의 조각을 이어 붙이며, 사전 지식, 기대, 감정 상태에 기반한 추론으로 공백을 채운다. 이러한 재구성은 특히 원래 기억 흔적이 약하거나 모호할 때 confabulation으로 이어질 수 있다. 신경심리학 연구에 따르면 confabulation은 기억 회상과 모니터링에 중요한 영역인 전두엽이나 해마에 손상이 있는 개인에게 더 흔하다. 예를 들어, 만성 알코올 사용과 관련된 코르사코프 증후군 환자는 기억 공백을 메우기 위해 정교한 이야기를 자주 지어낸다. 건강한 사람의 경우에도 스트레스, 피로, 또는 암시적 질문 아래에서 confabulation이 발생할 수 있으며, 이는 고전적인 목격자 증언 연구에서 입증되었다.
AI 시스템에서의 Confabulation
인공지능에서 confabulation은 신경망의 구조와 딥러닝 모델의 훈련 과정에서 발생한다. 대규모 언어 모델은 방대한 텍스트 말뭉치의 패턴을 기반으로 시퀀스의 다음 토큰을 예측하도록 훈련된다. 추론 중에는 가능한 연속에 대한 확률 분포에서 샘플링하여 텍스트를 생성한다. 이 확률적 메커니즘은 진실과 거짓 진술을 본질적으로 구분하지 않으며 단지 언어적 그럴듯함만을 목표로 한다. 그 결과 모델은 사실적으로 틀린 응답을 자신 있게, 문법적으로 정확하고 맥락에 맞게 생성할 수 있다. 이 행동은 AI 문헌에서 "환각"이라고도 불리지만, 출력이 무작위 오류가 아닌 일관된 서사일 때는 confabulation이 더 정확한 용어이다.
원인 및 기여 요인
AI 시스템에서 confabulation의 가능성을 높이는 여러 요인이 있다. 부정확성, 편향, 모순을 포함하는 훈련 데이터는 학습되어 재현될 수 있다. 샘플링의 무작위성을 제어하는 모델의 온도 매개변수도 역할을 한다. 온도가 높을수록 더 다양하지만 잠재적으로 덜 정확한 출력이 생성된다. 또한 모델에 근거 기반 지식 기반이나 실시간 검증이 없으면 자체 진술의 진실성을 확인할 수 없다. 외부 데이터베이스에 접근하는 검색 증강 시스템과 달리 독립형 모델은 검증된 사실이 아닌 통계적 패턴을 인코딩하는 내부 매개변수에만 의존한다. 2017년에 도입된 트랜스포머 아키텍처는 이러한 모델이 장거리 의존성을 처리할 수 있게 했지만 사실적 신뢰성의 근본적인 문제는 해결하지 못했다.
영향 및 완화 전략
Confabulation은 의료, 법률 자문, 교육, 고객 서비스와 같은 고위험 분야에서 AI 배포에 중요한 영향을 미친다. 잘못된 의료 정보나 법률 인용을 자신 있게 제공하는 모델은 실제 피해를 초래할 수 있다. 이를 완화하기 위해 개발자는 여러 전략을 사용한다. 한 가지 접근 방식은 AI 피드백 기반 강화 학습으로, 모델이 진실된 응답을 선호하도록 훈련하는 것이다. 또 다른 방법은 생성 중에 외부 지식 소스나 사실 확인 메커니즘을 통합하는 것이다. 모델 가지치기와 선별된 데이터셋의 미세 조정은 모델을 신뢰할 수 있는 정보에 더 가깝게 정렬하여 confabulation을 줄일 수 있다. 그러나 어떤 방법도 문제를 완전히 제거하지 못하며, 2020년대 중반 현재 confabulation은 머신러닝과 생성형 AI 연구의 활발한 분야로 남아 있다.
Confabulation과 관련 개념의 구별
Confabulation은 종종 다른 용어와 혼동되지만 중요한 차이가 있다. 거짓말과 달리 confabulation에는 기만 의도가 없으며 화자나 모델은 출력이 사실이라고 믿는다. 이는 무작위적이거나 쉽게 수정될 수 있는 단순한 오류와는 다르다. confabulation된 서사는 내부적으로 일관되고 설득력이 있기 때문이다. AI에서 confabulation은 때때로 "환각"과 같은 의미로 사용되지만, 환각은 무의미하거나 주제에서 벗어난 출력을 가리킬 수도 있는 반면, confabulation은 그럴듯한 허위를 구체적으로 설명한다. 이러한 차이를 이해하는 것은 AI 생성 콘텐츠의 신뢰성을 적절히 전달하는 평가 지표와 사용자 인터페이스를 개발하는 데 중요하다.
향후 방향
Confabulation에 대한 연구는 여러 측면에서 진행되고 있다. 인지 과학자들은 인간 기억 재구성이 AI 설계에 어떻게 정보를 제공할 수 있는지 연구하여 기억된 사실과 추론된 추측을 더 잘 구분하는 모델을 개발할 가능성을 모색하고 있다. AI 분야에서는 사실적 부정확성에 불이익을 주는 손실 함수 개선, 다양한 사실 진술에 모델을 노출시키는 데이터 증강 기법 개발, confabulation 비율을 측정하는 벤치마크 생성에 노력을 집중하고 있다. OpenAI, Anthropic, Google DeepMind와 같은 기업은 환각 감소에 관한 연구를 발표했지만 특정 기술에 대한 공개 문서는 여전히 제한적이다. AI 시스템이 일상생활에 더 많이 통합됨에 따라 confabulation을 해결하는 것은 신뢰 구축과 책임 있는 사용을 보장하는 데 필수적이다.