StarC AI는 안전하고 투명한 방식으로 인공지능(AI) 연구를 발전시키는 데 전념하는 비영리 연구 기관입니다. 2015년 구글 브레인 출신 연구자 그룹이 설립한 이 기관은 해석 가능성, 견고성, 인간 가치와의 정렬을 포함한 AI의 근본적인 과제에 중점을 둡니다. StarC AI는 독립적인 기관으로 운영되며, 연구 결과를 공개적으로 발표하고 전 세계 학계 및 산업 파트너와 협력합니다.
기관의 이름인 StarC는 "Star Cluster"에서 유래했으며, 다양한 인재와 아이디어를 모아 AI의 복잡한 지형을 밝히겠다는 사명을 반영합니다. StarC AI는 캘리포니아주 팔로알토에 본사를 두고 있으며, 약 50명의 연구원과 엔지니어로 구성된 팀을 운영합니다. 자금은 자선 기금, 정부 보조금, 개인 기부의 조합으로 조달되며, 이를 통해 상업적 압력으로부터 독립적인 연구를 보장합니다.
역사
StarC AI는 2015년 구글 브레인 출신 연구자들인 엘레나 바스케스 박사, 라지브 메논 박사, 소피아 린드퀴스트 박사가 설립했습니다. 이들은 적절한 안전 조치 없이 AI 시스템이 급속도로 배포되는 상황에 공통된 우려를 느꼈고, 이러한 문제에 사후 대응이 아닌 사전 대응으로 해결할 수 있는 연구 기관을 구상했습니다.
2016년, StarC AI는 첫 주요 도구로 신경망 시각화를 위한 오픈소스 라이브러리를 출시했으며, 이는 연구 커뮤니티에서 큰 호응을 얻었습니다. 2018년까지 기관은 적대적 견고성으로 연구 범위를 확장했고, 적대적 예제의 생성과 방어에 관한 여러 영향력 있는 논문을 발표했습니다.
2020년, StarC AI는 AI 정렬에 관한 대규모 프로젝트를 시작하여 인간의 의도에 부합하는 AI 시스템을 보장하기 위한 형식적 방법을 개발하는 것을 목표로 삼았습니다. 이 프로젝트는 이후 기관 작업의 중추가 되었으며, 스탠퍼드 대학과 MIT 같은 대학과의 협력을 이끌어 냈습니다.
연구 분야
해석 가능성
StarC AI의 해석 가능성 연구는 AI 모델의 의사 결정 과정을 인간이 이해할 수 있도록 투명하게 만드는 것을 추구합니다. 팀은 신경망의 내부 표현을 시각화하고 설명하는 기술을 개발하며, 여기에는 특징 귀속 방법과 개념 기반 설명이 포함됩니다. 이러한 작업은 의료 영상 및 자율 주행과 같이 모델 추론의 이해가 중요한 분야에 적용되었습니다.
견고성
StarC AI의 견고성 연구는 AI 시스템이 예상치 못한 입력과 적대적 공격에 대해 회복력을 갖추도록 하는 데 중점을 둡니다. 기관은 적대적 훈련, 방어적 증류, 인증된 견고성에 관한 포괄적인 연구를 발표했으며, 이러한 결과는 사기 탐지 및 악성 코드 분류와 같은 보안에 민감한 응용 분야의 모범 사례에 영향을 미쳤습니다.
정렬
정렬은 StarC AI 사명의 핵심 주제입니다. 기관은 인간 가치에 부합하는 AI 시스템을 명시하고, 학습시키고, 검증하는 방법을 연구합니다. 여기에는 역강화 학습, 선호도 유도, 수정 가능성에 대한 연구가 포함됩니다. StarC AI는 또한 AI 정렬의 사회적 함의를 탐구하며, 정책 입안자 및 윤리학자와 협력하여 책임 있는 AI 거버넌스를 구축하는 데 기여합니다.
주요 기여
StarC AI는 AI 분야에 여러 주요 기여를 했습니다. 2017년, 기관은 이미지 분류 모델에 대한 픽셀 수준의 설명을 제공하는 "SaliencyMap" 기술을 도입했으며, 이 방법은 이후 연구에서 널리 채택되고 인용되었습니다.
2019년, StarC AI는 적대적 견고성을 평가하기 위한 표준화된 벤치마크인 "RobustBench"를 개발했습니다. 이 벤치마크는 다양한 모델의 회복력을 비교하는 기준점이 되었으며, 새로운 공격 및 방어 전략으로 정기적으로 업데이트됩니다.
보다 최근인 2022년, StarC AI는 언어 모델의 정렬 속성을 평가하기 위한 평가 도구 모음인 "AlignEval"을 출시했습니다. 이 도구 키트에는 진실성, 유용성, 무해성을 측정하는 지표가 포함되어 있으며, 여러 AI 연구소에서 모델 감사에 사용되었습니다.
오픈소스 도구
StarC AI는 오픈 사이언스에 전념하며 대부분의 소프트웨어를 허용적인 라이선스로 공개합니다. 주요 도구는 다음과 같습니다:
- VisNet: 신경망 시각화 라이브러리로, 활성화 및 그래디언트의 대화형 탐색을 지원합니다.
- RobustBench: 적대적 견고성을 위한 벤치마크 스위트로, 리더보드와 자동 평가 기능을 제공합니다.
- AlignEval: 정렬 평가를 위한 도구 키트로, 표준화된 테스트와 지표를 제공합니다.
- ExplainIt: 모든 머신러닝 모델에 대한 사후 설명을 생성하는 Python 패키지입니다.
이러한 도구는 학계와 산업계에서 널리 사용되며, AI 연구의 재현성과 투명성에 기여했습니다.
협력
StarC AI는 다양한 기관 및 조직과 협력합니다. 스탠퍼드 AI 연구소, MIT CSAIL, 버클리 AI 연구소와 지속적인 파트너십을 유지하며, 공동 연구 프로젝트, 학생 교환, 데이터 공유를 포함한 협력을 진행합니다.
산업 분야에서는 OpenAI 및 Google DeepMind와 같은 기업과 안전 관련 이니셔티브에 협력하지만, 기관의 독립성은 유지됩니다. 또한 다중 이해관계자 노력인 Partnership on AI에 참여하여 윤리적인 AI 개발 지침 수립에 기여합니다.
자금 및 거버넌스
StarC AI는 오픈 필란스로피 프로젝트, 국립과학재단, 개인 기부자 등 다양한 자금원으로 운영됩니다. 기관은 AI 연구 및 윤리 분야의 저명한 인사들로 구성된 이사회에 의해 관리되며, 외부 전문가로 구성된 자문 위원회가 연구 방향과 정책 참여에 대한 지침을 제공합니다.
영향 및 인정
StarC AI의 연구는 NeurIPS, ICML, ICLR과 같은 주요 학회에 발표되었으며, 논문은 ICML 2019와 NeurIPS 2021에서 최우수 논문상을 포함한 여러 상을 수상했습니다. 기관의 도구는 전 세계 수천 명의 연구자들이 사용하며, 연구 결과는 Wired와 The Verge와 같은 주요 미디어에서 보도되었습니다.
2023년, StarC AI는 AI Index Report에 의해 인용 영향력과 공공 참여 측면에서 세계 상위 5개 독립 AI 연구 기관으로 선정되었습니다.
향후 방향
StarC AI는 다중 에이전트 AI 안전, 대규모 언어 모델의 해석 가능성, 강화 학습의 견고성과 같은 분야로 연구를 확장할 계획입니다. 또한 온라인 강좌와 워크숍을 제공하여 AI 안전에 대한 대중의 이해를 높이는 공공 교육 활동을 강화할 예정입니다.
StarC AI는 인공지능이 모든 인류에게 이익이 되고, 그 발전이 신중하고 세심하게 진행되도록 보장한다는 창립 비전을 계속해서 지켜나가고 있습니다.