2024년에 개최된 프론티어 AI 안전 및 정책 이벤트는 고급 인공지능 시스템의 거버넌스와 안전에 관한 국제 협력을 위한 전용 포럼으로 자리 잡았다. 이 모임은 정부 대표, 기술 연구자, 주요 AI 연구소의 경영진을 한자리에 모아 프론티어 모델 - 현재 최첨단 시스템에 근접하거나 이를 초과하는 능력을 가진 모델 - 이 제기하는 독특한 도전 과제를 다루었다. 이 이벤트는 Machine learning의 빠른 발전 속도가 개별 국가의 노력보다는 조정된 국경 간 행동을 요구한다는 인식이 커지면서 등장했다.
이 회의는 Generative AI 및 Large language model 기술의 가속화된 발전을 배경으로 조직되었다. 참가자에는 여러 국가 정부의 관리, University of Oxford 및 BAIR (Berkeley AI Research)와 같은 학술 기관의 연구자, 그리고 OpenAI, Anthropic, Google DeepMind를 포함한 기업의 기술 리더가 포함되었다. 의제는 세 가지 주요 영역에 초점을 맞췄다: 공동 안전 벤치마크 수립, 사고 보고 메커니즘 창설, 프론티어 시스템의 책임 있는 배포를 위한 프레임워크 개발.
배경 및 맥락
프론티어 AI 안전에 관한 전용 국제 포럼의 필요성은 고급 모델과 관련된 여러 고위험 사건 이후 분명해졌다. 2023년, 여러 연구 그룹은 대규모 언어 모델이 광범위한 안전 훈련에도 불구하고 유해한 출력을 생성하도록 유도될 수 있음을 입증하여 현재 Reinforcement Learning from AI Feedback (RLAIF) 및 기타 정렬 기술의 한계를 강조했다. 동시에 프론티어 모델을 훈련하는 데 필요한 계산 자원이 기하급수적으로 증가하여 AWS Trainium 및 기타 특수 하드웨어 클러스터에 접근할 수 있는 소수의 조직에 능력이 집중되었다.
이러한 발전은 Aleksander Madry 및 Melanie Mitchell과 같은 연구자들이 보다 구조화된 국제 대화를 촉구하게 만들었다. 이 이벤트는 영국에서 개최된 2023년 AI 안전 정상 회의를 포함한 초기 이니셔티브를 기반으로 구축되었으며, 이 회의는 프론티어 AI 거버넌스에 대한 예비 원칙을 수립했지만 구체적인 구현 메커니즘은 부족했다. 2024년 모임은 이러한 원칙을 실행 가능한 정책으로 전환하는 것을 목표로 했다.
기술 안전 조치에 관한 주요 논의
이벤트의 상당 부분은 프론티어 AI 안전을 보장하기 위한 기술적 접근 방식에 초점을 맞췄다. 연구자들은 성능을 유지하면서 모델 복잡성을 줄여 보다 철저한 감사를 용이하게 할 수 있는 Model Pruning 및 기타 기술에 대한 연구 결과를 발표했다. 논의는 배포 전에 실패 모드를 식별하도록 설계된 레드 팀 활동 및 적대적 테스트 프로토콜을 포함한 평가 방법론의 역할을 다루었다.
참가자들은 모델 의사 결정 과정에 대한 가시성을 제공하는 Mechanistic interpretability 연구의 잠재력을 검토했다. Anthropic의 기능 시각화 작업과 OpenAI의 활성화 스티어링 작업은 프론티어 시스템을 이해하고 제어하기 위한 유망한 경로로 제시되었다. 그러나 여러 연사는 현재 해석 가능성 도구가 모델 능력에 크게 뒤처져 있으며, Jakob Uszkoreit 및 기타 기술 리더가 이를 중요한 연구 우선 순위로 식별했다고 경고했다.
이벤트는 또한 계산 거버넌스 - 프론티어 훈련에 필요한 대규모 계산 자원에 대한 접근을 통제하는 것이 정책 수단이 될 수 있다는 아이디어 - 를 다루었다. TSMC 및 NVIDIA의 대표는 공급망 고려 사항을 논의했으며, 정책 전문가들은 대규모 훈련 실행을 위한 국제 등록 시스템의 타당성을 토론했다.
국제 정책 프레임워크
중심 주제는 프론티어 AI 안전을 위한 구속력 있는 국제 협정 개발이었다. 유럽 연합, 미국, 영국, 캐나다, 일본의 대표단은 각자의 규제 접근 방식을 발표했으며, EU의 위험 기반 Artificial intelligence 법안부터 2023년 10월에 발표된 미국의 안전하고 보안적이며 신뢰할 수 있는 AI에 관한 행정 명령까지 다양했다. 이 이벤트는 이러한 다양한 프레임워크 간의 공통점을 찾으려고 했다.
제안에는 CERN과 같은 기존 과학 협력 모델을 기반으로 한 국제 AI 안전 연구 네트워크 설립이 포함되었으며, 이는 국경을 넘어 자원과 전문성을 결집할 것이다. 또 다른 제안은 조직이 안전 관련 실패를 공개하도록 요구하는 글로벌 사고 보고 데이터베이스 생성으로, 항공 안전 보고 시스템과 유사했다. 참가자들은 관할권 및 집행 문제를 포함한 이러한 메커니즘의 법적 및 실질적 과제를 토론했다.
소규모 국가 및 개발도상국의 대표는 AI 혜택에 대한 공평한 접근과 안전 규정이 소수의 부유한 국가의 지배력을 강화할 가능성에 대한 우려를 제기했다. 이러한 논의는 역량 구축 및 기술 이전에 초점을 맞춘 작업 그룹으로 이어졌으며, Alibaba Cloud 및 기타 국제 기업의 참가자가 글로벌 배포에 대한 관점을 기여했다.
업계 약속 및 자발적 표준
여러 주요 AI 기업이 이벤트 기간 동안 자발적 약속을 했다. OpenAI는 독립 연구자에게 배포 전 모델에 대한 더 큰 접근을 허용하는 확장된 외부 레드 팀 프로그램을 발표했다. Anthropic은 식별된 위험을 해결하기 위해 취한 특정 조치를 문서화한 프론티어 시스템에 대한 상세한 안전 사례 보고서를 게시하겠다고 약속했다. Google DeepMind는 적절한 보호 장치를 조건으로 파트너 기관과 안전 평가 결과를 공유하기로 약속했다.
이러한 자발적 조치는 보다 공식적인 규제로 가는 다리로 간주되었다. 업계 대표는 기술의 빠르게 진화하는 특성을 고려할 때 유연하고 적응 가능한 표준이 엄격한 법적 요구 사항보다 선호된다고 주장했다. 그러나 시민 사회 관찰자와 일부 학계 참가자는 업계 자율 규제가 불충분한 것으로 입증된 역사적 선례를 지적하며 자발적 약속의 집행 가능성에 대해 회의적인 입장을 표명했다.
이벤트는 또한 Anthropic과 University of Oxford 간의 공동 연구 이니셔티브 출범을 목격했으며, 이는 특정 영역에서 인간 능력을 초과할 수 있는 AI 시스템을 감독하는 과제인 확장 가능한 감독에 초점을 맞췄다. 이 프로젝트는 자선 재단과 정부 연구 보조금을 포함한 여러 출처에서 자금을 지원받았다.
기술적 과제 및 연구 우선 순위
이벤트의 연구자들은 긴급한 주의가 필요한 몇 가지 중요한 기술적 과제를 식별했다. AI 시스템이 의도된 목표를 안정적으로 추구하도록 보장하는 AI alignment 문제는 특히 인간 피드백 기반 강화 학습 및 관련 접근 방식을 통해 훈련된 시스템에서 여전히 해결되지 않은 상태였다. 참가자들은 모델 행동에 명시적 원칙을 내장하는 것을 목표로 하는 Constitutional AI 및 기타 방법의 잠재력을 논의했다.
또 다른 우선 순위는 프론티어 모델 능력과 위험을 측정할 수 있는 강력한 평가 제품군 개발이었다. 기존 벤치마크는 너무 좁고 쉽게 조작될 수 있다는 비판을 받았으며, 모델은 진정한 이해보다는 암기를 통해 높은 점수를 달성했다. Stanford AI Lab 및 MIT CSAIL의 연구자들은 추론, 견고성 및 안전 속성을 평가하는 보다 포괄적인 평가 프레임워크에 대한 제안을 발표했다.
이벤트는 AI 안전 연구에서 재현성의 중요성을 강조했다. 여러 연사는 많은 발표된 안전 결과가 독점 모델 접근 및 계산 제약으로 인해 재현될 수 없다고 지적했다. 표준화된 평가 환경과 공유 인프라에 대한 요구가 제기되었으며, Google Cloud 및 Microsoft Azure 대표는 안전 연구를 위한 잠재적 클라우드 기반 플랫폼에 대해 논의했다.
거버넌스 및 책임 메커니즘
AI로 인한 피해에 대한 책임 문제는 상당한 관심을 받았다. 법률 학자들은 자율 시스템에 대한 책임 프레임워크를 논의하며 기존 불법 행위 및 제품 책임 법이 피해를 초래하는 AI 시스템에 어떻게 적용될 수 있는지 검토했다. 안전 및 윤리 표준 준수를 위한 AI 시스템의 독립적 평가인 알고리즘 감사 개념은 책임을 보장하기 위한 잠재적 메커니즘으로 탐구되었다.
참가자들은 AI 거버넌스에서 국제 기구의 역할에 대해 토론했다. 일부는 유엔 내 전문 기관을 옹호했으며, 다른 일부는 보다 가벼운 조정 메커니즘을 선호했다. 이벤트의 최종 공동 성명은 정기 회의와 연구 및 정책 노력을 조정할 상설 사무국을 갖춘 상설 국제 프론티어 AI 안전 포럼 설립을 촉구했다.
논의는 또한 AI 안전과 Artificial intelligence 및 고용, 프라이버시, 민주적 과정에 대한 더 넓은 우려 사이의 관계를 다루었다. 이벤트가 주로 재앙적 위험에 초점을 맞추었지만, 여러 연사는 안전 프레임워크가 허위 정보 및 알고리즘 편향을 포함한 보다 즉각적인 사회적 영향을 다루어야 한다고 강조했다.
결과 및 다음 단계
프론티어 AI 안전 및 정책 이벤트는 참가자들이 프론티어 AI 안전에 대한 지속적인 협력을 약속하는 공동 성명 채택으로 마무리되었다. 구체적인 결과에는 2025년까지 공동 안전 벤치마크 개발 합의, 시범 사고 보고 시스템 창설, 기술 연구, 정책 조정 및 역량 구축에 관한 작업 그룹 설립이 포함되었다.
후속 회의는 2025년에 아시아 국가 연합이 주최할 예정으로 예정되었다. 그 사이에 참여 조직은 자발적 약속에 대한 진행 상황을 보고하기로 합의했으며, 구현을 평가하기 위한 중간 검토가 계획되었다. 이 이벤트는 AI 거버넌스에 대한 국제 조정을 향한 중요한 단계로 널리 간주되었지만, 관찰자들은 협정을 효과적인 행동으로 전환하려면 지속적인 정치적 의지와 기술적 노력이 필요하다고 지적했다.
이 모임은 또한 여러 독립 이니셔티브를 촉발했다. Carnegie Mellon University 및 University of Toronto의 연구자 그룹은 오픈 소스 안전 평가 도구 키트에 대한 계획을 발표했다. Inflection AI 및 AI21 Labs를 포함한 여러 기업은 비프론티어 모델에 대한 공통 안전 표준을 채택하겠다고 약속했다. 이러한 발전은 이벤트의 영향력이 즉각적인 참가자를 넘어 더 넓은 AI 생태계의 안전 및 책임 접근 방식을 형성했음을 시사했다.