MIT AI 안전 연구는 매사추세츠 공과대학에서 Artificial intelligence와 관련된 위험을 연구하고 완화하기 위한 조정된 노력을 의미합니다. 이러한 노력은 MIT AI 안전 허브를 중심으로 이루어지며, 이는 고급 AI 시스템이 제기하는 기술적, 윤리적, 정책적 과제를 해결하기 위해 연구소 전역의 연구자들을 한데 모으는 이니셔티브입니다. 이 허브는 MIT 컴퓨터 과학 및 인공지능 연구소에서의 Machine learning 및 Neural network 연구 초기로 거슬러 올라가는 MIT의 오랜 컴퓨팅 및 AI 역사를 기반으로 합니다.
MIT AI 안전 허브는 이전에 학과와 연구소에 분산되어 있던 안전 관련 작업을 통합하고 확장하기 위해 설립되었습니다. 이 허브는 특히 Large language model 및 기타 Generative AI 기술을 포함한 AI 시스템을 평가하고 제어하기 위한 엄격한 방법을 개발하는 것을 목표로 합니다. 또한 이 허브는 안전한 AI 배포에 대한 지침을 찾는 정책 입안자와 산업 파트너를 위한 연락 창구 역할을 합니다.
연구 초점
MIT AI 안전 허브의 연구는 여러 영역에 걸쳐 있습니다. 주요 분야 중 하나는 기술적 견고성으로, 신뢰성을 개선하기 위한 적대적 예제, Model Pruning, Gradient Clipping에 대한 연구를 포함합니다. 또 다른 분야는 해석 가능성으로, 연구자들은 Transformer (architecture) 모델에서 Multi-Head Attention 및 Positional Encoding 메커니즘을 연구하여 이러한 시스템이 어떻게 결정을 내리는지 이해합니다. 허브는 또한 AI 피드백을 통한 강화 학습 및 Curriculum Learning과 같은 기술을 활용하여 AI 행동을 의도된 결과로 유도하는 정렬을 조사합니다.
주목할 만한 프로젝트는 편향, 환각, 안전하지 않은 지시를 탐지하는 벤치마크를 사용하여 유해한 출력에 대한 Large language model의 스트레스 테스트를 포함합니다. 허브의 연구자들은 또한 경제적 혼란과 잘못된 정보를 포함한 AI의 사회적 영향력을 탐구했으며, 종종 MIT 인문·예술·사회과학 대학의 학자들과 협력합니다.
교육 프로그램
MIT는 AI 안전을 교과 과정에 통합했습니다. 허브는 대학원생과 학부생에게 공개된 강좌와 세미나를 제공하며, Loss Functions부터 자율 시스템의 윤리까지 다양한 주제를 다룹니다. 2024년에 MIT는 기술 및 정책 차원 모두의 교과 과정을 요구하는 최초의 AI 안전 대학원 수료증을 시작했습니다. 허브는 또한 전 세계에서 참가자를吸引하는 연례 여름 학교를 개최하며, 스탠포드 AI 연구소 및 버클리 AI 연구와 같은 기관의 주요 연구자들의 강의를 제공합니다.
MIT AI 안전 그룹과 같은 학생 주도 이니셔티브는 독서 그룹과 해커톤을 조직하여 실천 공동체를 조성합니다. 이러한 노력은 2025년 유해한 텍스트 생성을 줄이는 데 있어 Top-P (Nucleus) Sampling의 효과에 대한 연구를 포함한 여러 동료 검토 논문을 생산했습니다.
정책 및 산업 참여
MIT AI 안전 허브는 정책 입안자 및 산업과 적극적으로 협력합니다. 교수진은 AI 규제에 관한 미국 의회 위원회에서 증언했으며, 허브는 연방 기관에 권고안을 제출했습니다. 또한 OpenAI, Anthropic, Google DeepMind와 같은 기업과 공동 안전 연구를 협력하면서 학문적 독립성을 유지합니다. 2025년에 허브는 Amazon Web Services 및 마이크로소프트 애저와 컨소시엄을 시작하여 클라우드 기반 AI 서비스를 위한 표준화된 안전 벤치마크를 개발했습니다.
이러한 파트너십은 모델 드리프트를 유발할 수 있는 Data Augmentation 아티팩트를 감지하기 위한 오픈 소스 라이브러리와 같은 실용적인 도구로 이어졌습니다. 허브의 정책 작업은 AI 개발의 빠른 속도를 고려할 때 적응형 거버넌스의 필요성을 강조합니다.
주요 인물 및 역사
MIT의 AI 안전 노력은 수십 년간의 이전 작업을 기반으로 합니다. 초기 기여는 적대적 견고성을 연구한 Aleksander Madry와 인간과 유사한 학습에 대한 연구가 안전 연구에 정보를 제공하는 Joshua Tenenbaum과 같은 연구자들로부터 나왔습니다. 허브의 현재 리더십에는 MIT CSAIL 및 전기 공학 및 컴퓨터 과학 학과의 교수진이 포함됩니다. 2023년에 허브는 AI 안전 박사 과정 펠로우십을 지원하기 위해 익명 기부자로부터 1,000만 달러의 보조금을 받았습니다.
책임 있는 혁신에 대한 MIT의 제도적 헌신은 설립 원칙으로 거슬러 올라가지만, 공식적인 AI 안전 프로그램은 Deep learning 시스템에 대한 우려가 커지면서 2010년대 후반에 등장했습니다. 허브는 2024년에 공식적으로 출범하여 기존 노력을 통합하고 통일된 정체성을 부여했습니다. 2025년 현재, 50명 이상의 교수진과 120명의 대학원생으로 구성되어 세계에서 가장 큰 학술 AI 안전 그룹 중 하나입니다.
향후 방향
앞으로 MIT AI 안전 허브는 Neural network 검증 및 실제 환경에서의 Reinforcement learning 에이전트의 안전성과 같은 영역으로 확장할 계획입니다. 또한 실패가 심각한 결과를 초래할 수 있는 의료 및 교통 분야에 배포된 Transformer (architecture) 기반 시스템을 감사하기 위한 도구를 개발하고 있습니다. 허브는 2026년까지 포괄적인 안전 프레임워크를 발표하는 것을 목표로 하며, 이는 학계와 산업 모두를 위한 참고 자료로 사용될 예정입니다.
매사추세츠주 케임브리지에 위치한 MIT의 입지와 학제 간 협력의 역사는 이러한 노력을 주도하는 데 유리한 위치를 차지하게 합니다. 허브의 작업은 기술 표준뿐만 아니라 사회가 인공지능의 위험과 이점을 어떻게 관리해야 하는지에 대한 공공 담론에도 영향을 미칠 것으로 기대됩니다.