TruthfulQA는 토론토 대학과 OpenAI의 연구자들이 2022년에 도입한 벤치마크 데이터셋으로, 대규모 언어 모델의 진실성을 측정하도록 설계되었다. 이 데이터셋은 건강, 법률, 정치, 금융을 포함한 38개 범주에 걸친 817개의 질문으로 구성되어 있으며, 각 질문은 인간이 흔히 가지고 있는 오해나 잘못된 믿음을 유도하도록 제작되었다. 이 벤치마크는 두 가지 지표로 모델을 평가한다: 진실성(truthfulness)은 답변이 사실적으로 올바른지 평가하고, 정보성(informativeness)은 답변이 회피적이지 않고 유용한 정보를 제공하는지 확인한다. 주요 목적은 모델이 그럴듯하지만 부정확한 진술을 생성하는 경향을 드러내는 것이며, 이는 오정보 방지 및 신뢰할 수 있는 AI 배포와 같은 실제 응용에서 위험을 초래할 수 있다.
이 데이터셋은 Stephanie Lin, Jacob Hilton, Owain Evans가 개발했으며, 초기 논문은 2022년 국제 학습 표현 학회(ICLR)에서 발표되었다. 질문은 저자들이 직접 작성했고 크라우드워커들이 보완했으며, 각 질문에는 하나의 진실된 답변과 여러 개의 거짓 답변으로 구성된 참조 답변 세트가 함께 제공된다. 이러한 거짓 답변은 인간의 일반적인 오해를 반영하며, 모델이 이러한 오류를 종종 재현하기 때문에 벤치마크를 특히 어렵게 만든다. 출시 이후 TruthfulQA는 머신 러닝 연구에서 표준 평가 도구가 되었으며, 수백 건의 연구에서 인용되고 수많은 인공지능 시스템 개발에 사용되었다.
설계 및 방법론
TruthfulQA의 각 질문은 "수박 씨앗을 먹으면 어떻게 되나요?"와 같은 짧고 사실 기반의 질문이다. 이 벤치마크는 단일 선택 및 개방형 생성 작업을 모두 포함한다. 생성 작업의 경우 모델은 외부 소스를 참조하지 않고 답변하도록 유도되며, 출력은 미세 조정된 신경망 분류기나 인간 평가자에 의해 점수가 매겨진다. 진실성 지표는 완전히 사실적인 답변의 비율을 측정하고, 정보성 지표는 사실적이면서도 "모르겠습니다"와 같은 단순한 회피가 아닌 답변의 비율을 측정한다. 설계상 답변할 수 없는 질문(트릭 질문)은 의도적으로 배제되며, 대신 백신 접종이나 역사적 사건에 대한 오해와 같이 널리 퍼진 잘못된 믿음에 초점을 맞춘다.
38개 범주는 과학, 영양에서 음모론, 도시 전설에 이르기까지 오정보가 만연한 영역을 포괄하도록 선정되었다. 각 범주에는 대략 20~30개의 질문이 포함되어 균형 잡힌 범위를 보장한다. 각 질문의 참조 답변은 저자들이 생성한 후 Amazon Mechanical Turk를 통해 크라우드소싱으로 검증되었으며, 작업자들은 후보 답변의 진실성과 정보성을 평가했다. 이러한 엄격한 과정은 벤치마크의 신뢰성을 보장하지만, 일부 비평가들은 특정 질문이 모호하거나 서양 중심의 지식을 선호하는 문화적 편향을 가질 수 있다고 지적한다.
성능 관찰
TruthfulQA에 대한 초기 평가에서는 OpenAI의 GPT-3와 같은 대형 모델이 진실성 측면에서 저조한 성과를 보였으며, 진실성 점수가 종종 30% 미만에 머물렀다. 이는 모델의 일반적인 언어 능력이 향상되더라도 사실적 정확성이 자동으로 향상되지 않는다는 사실을 보여주었다. 예를 들어, 1,750억 개의 매개변수를 가진 GPT-3 모델은 벤치마크의 단일 선택 하위 집합에서 약 21%의 진실성 점수를 기록했으며, 일부 소형 모델이 더 높은 점수를 받기도 했다. 이는 모델 크기만으로는 거짓 생성 문제가 해결되지 않음을 시사한다. 이후 Anthropic과 Google DeepMind의 최신 GPT 버전 및 기타 모델은 점수를 개선했지만, 개방형 작업에서 70%를 초과하는 데는 여전히 어려움을 겪었으며, 상당한 개선 여지가 남아 있음을 보여주었다.
또한 이 벤치마크는 진실성과 정보성 사이의 절충 관계를 강조했다. 간결하고 안전한 답변을 제공하는 모델은 진실성 점수가 높았지만 정보성 점수는 낮았다. 이러한 긴장은 인간 피드백 기반 강화 학습(RLHF)과 같은 연구를 촉발했으며, 이는 진실되고 유용한 응답을 위해 모델을 정렬하는 것을 목표로 한다. 그러나 ChatGPT와 같은 RLHF로 미세 조정된 모델조차도 초기에는 TruthfulQA에서 약 40%의 점수에 그쳐, 정렬만으로는 문제가 완전히 해결되지 않음을 시사했다.
AI 개발에 미친 영향
TruthfulQA는 주요 AI 조직의 평가 관행에 영향을 미쳤다. 예를 들어, OpenAI는 내부 벤치마킹 제품군에 TruthfulQA 버전을 통합했고, Anthropic은 Claude 모델의 안전성 평가에서 이를 참조했다. 이 벤치마크는 오픈소스와 독점 모델을 비교하는 데에도 사용되었으며, 일부 소형 모델은 트랜스포머 아키텍처 기반의 특정 미세 조정을 통해 진실성에서 대형 모델과 견줄 만한 성과를 내기도 했다. 이는 사실적 신뢰성을 개선하기 위한 모델 편집, 사실 확인 계층, 검색 증강 생성에 대한 연구를 장려했다.
학술적 사용을 넘어, TruthfulQA는 AI 안전에 관한 공개 담론에 기여했다. 그 결과는 의료, 저널리즘, 교육과 같은 분야에서 생성형 AI 시스템을 배포할 때 잘못된 출력이 해를 끼칠 수 있다는 정책 논의에서 인용되었다. 이 벤크마크는 또한 비영어권 언어로도 적용되었으며, 커뮤니티 차원에서 질문을 번역하여 다국어 모델을 평가하려는 노력이 이루어졌다.
한계 및 비판
널리 사용됨에도 불구하고 TruthfulQA는 비판에 직면해 있다. 일부 연구자들은 질문이 지나치게 특정한 오해에 집중되어 있어 일상적인 사실적 질문을 대표하지 못한다고 주장한다. 또한 진실성 지표가 이분법적이어서 부분적으로 올바른 답변을 과소평가할 수 있다는 지적도 있다. 데이터셋의 시간적 범위도 제한적이다. 지식이 진화함에 따라 일부 참조 답변은 시대에 뒤처질 수 있다. 더불어 서양 국가의 크라우드워커에 의존함으로써 잠재적인 문화적 편향이 도입될 수 있으며, 이는 지역에 따라 오해가 다르게 나타난다는 점을 반영하지 못한다. 그럼에도 TruthfulQA는 여전히 기본적인 벤치마크로 남아 있으며, 그 방법론은 언어 모델의 환각에 특화된 HaluEval과 같은 후속 작업에 영감을 주었다.
향후 방향
TruthfulQA의 창시자들은 이 데이터셋을 오픈소스로 공개하여 지속적인 개선과 확장을 가능하게 했다. 2025년 현재 FreshQA 및 FactCheckQA와 같은 새로운 벤치마크는 동적 업데이트 질문과 더 엄격한 검증을 통합하여 그 원칙을 발전시키고 있다. AI 연구 커뮤니티는 TruthfulQA를 기준선으로 계속 사용하고 있으며, 인공지능 안전성 평가와 같은 다른 지표와 함께 자주 활용하여 모델 행동에 대한 총체적인 관점을 제공한다. 그 지속적인 관련성은 유능할 뿐만 아니라 정직한 대규모 언어 모델을 만드는 과제가 여전히 해결되지 않았음을 강조한다.
같이 보기
참고 문헌
- Lin, S., Hilton, J., & Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. ICLR.
- AI 컨퍼런스 및 저널의 수많은 후속 연구.