Dan Hendrycks는 미국의 컴퓨터 과학자이자 AI 안전 센터(CAIS)의 이사 겸 연구 책임자로, 인공지능으로 인한 대규모 위험을 줄이는 데 초점을 맞춘 비영리 조직입니다. 그는 캘리포니아 대학교 버클리에서 컴퓨터 과학 박사 학위를 받았으며, 그곳에서의 견고성 및 머신러닝 평가에 관한 연구는 현장에서 가장 널리 사용되는 벤치마크 중 일부를 탄생시켰습니다.
벤치마크
대학원생 시절, Hendrycks는 2020년에 처음 공개된 MMTLU(Massive Multitask Language Understanding) 벤치마크의 제작을 주도했습니다. MMLU는 57개의 학문 및 전문 과목에 걸쳐 모델을 테스트하며, LLM evaluation의 표준 척도 중 하나가 되었고, 이후 GPT-3 이후의 거의 모든 주요 Large language model 릴리스에서 인용되었습니다. 그는 또한 경쟁 수학 문제로 구성된 벤치마크인 MATH를 포함한 다른 널리 사용되는 평가 데이터 세트에 기여했으며, Machine learning 시스템에서의 Hallucination (AI) 및 견고성을 측정하는 방법론을 대중화하는 데 도움을 주었습니다.
AI 안전 센터와 멸종 성명서
Hendrycks는 기술적 안전 연구에 자금을 지원하고 재앙적 AI 위험을 주류 정책 문제로 부각시키기 위해 CAIS를 설립했으며, Reward hacking, 모델 견고성, AI alignment를 포함한 주제에 대한 학술 및 정책 연구를 발표했습니다. 2023년 5월, CAIS는 "AI 위험에 대한 성명서"를 발표했는데, AI로 인한 멸종 위험을 완화하는 것이 팬데믹 및 핵전쟁과 같은 다른 사회 규모의 위험과 함께 글로벌 우선순위가 되어야 한다는 한 문장으로 구성되어 있습니다. 이 성명서는 OpenAI, Anthropic, Google DeepMind의 지도자를 포함한 수백 명의 연구자 및 경영진이 서명했으며, AI로 인한 Existential risk from AI에 대한 우려가 주변적 입장에서 주류 AI 연구 커뮤니티 전반의 입장으로 이동했음을 보여주는 신호로 널리 보도되었습니다.
Hendrycks는 이후 Elon Musk의 AI 회사인 xAI의 안전 고문이 되었으며, 이는 그의 공개적 위험 옹호 역할과의 양립 가능성에 의문을 제기한 일부 논평가들의 비판을 받았습니다. 그는 또한 AI 안전을 전통적인 머신러닝 과정과 함께 가르치는 학문적 과목으로 공식화하려는 오픈 교과서 "AI 안전, 윤리 및 사회 입문"의 공동 저자이기도 합니다.
평가
Hendrycks는 일반적으로 Eliezer Yudkowsky와 같은 연구자들의 보다 단정적인 예측과 가까운 시일 내 재앙적 위험에 회의적인 업계 인사들 사이의 중간 위치를 차지하는 것으로 평가됩니다. 특히 MMLU에서의 그의 경험적 기여는 그의 옹호 활동과 별개로 인용되며, 그의 정책 입장에 공개적으로 동의하지 않는 연구소를 포함하여 AI 위험에 대한 다양한 견해를 가진 연구자들이 사용합니다. 비평가들은 모델이 평가 세트와 겹치는 데이터로 점점 더 훈련됨에 따라 MMLU와 같은 벤치마크가 포화 상태에 이르거나 조작되고 있는지 의문을 제기하며, Hendrycks는 이를 인정하고 후속으로 더 어려운 벤치마크를 통해 대응했습니다.