Alliance for Secure AI는 Artificial intelligence 시스템의 안전성, 보안성, 신뢰성을 다루기 위해 설립된 산업 컨소시엄이다. Generative AI 및 Large language model 기술의 급속한 확산에 대응하여 설립된 이 연합은 기술 기업, 연구 기관, 개별 전문가를 한데 모아 안전한 AI 배포를 위한 공동 프레임워크, 기술 표준, 모범 사례를 개발한다. 그 작업은 적대적 견고성, 모델 평가, 투명성, 거버넌스와 같은 영역에 걸쳐 있으며, AI 생태계 전반의 혁신을 촉진하면서 위험을 완화하는 것을 목표로 한다.
이 연합은 회원 중심 조직으로 운영되며, 참가자들은 기술 전문성, 연구 결과, 엔지니어링 자원을 기여한다. 정책 옹호에만 국한되지 않고 오픈소스 도구, 벤치마크 데이터셋, 지침 문서와 같은 실용적이고 실행 가능한 산출물을 강조한다. 산업과 학계 간의 노력을 조정함으로써, 이 연합은 기존 이니셔티브를 보완하고 AI 안전 연구 및 구현의 공백을 메우고자 한다.
설립 배경 및 동기
Alliance for Secure AI는 AI 역량의 급속한 발전과 관련 위험에 대한 대중 및 규제 기관의 조사가 증가한 해인 2024년에 설립되었다. 편향된 출력, 데이터 유출, Generative AI 도구의 오용과 관련된 고위험 사건들은 산업 차원의 조정된 대응의 필요성을 부각시켰다. 창립 회원에는 AMD, Intel, Samsung Electronics, Qualcomm과 같은 주요 기술 기업과 Amazon Web Services, Microsoft Azure, Google Cloud, Oracle Cloud Infrastructure 같은 클라우드 제공업체가 포함되었다. 이들 기업은 AI의 보안 문제가 종종 체계적이며 하드웨어, 소프트웨어, 서비스 계층 전반에 걸친 협력이 필요하다는 점을 인식했다.
이 연합은 또한 많은 AI 안전 노력이 분산되어 각 기업이 독점적 솔루션을 추구한다는 관찰에 의해 동기가 부여되었다. 상호 운용 가능한 표준을 개발하고 중복 노력을 피하기 위해 공유된 중립 플랫폼이 필수적이라고 여겨졌다. 조직의 헌장은 개방성을 강조하며, 모든 산출물은 가능한 한 허용적 라이선스 하에 공개적으로 제공된다.
조직 구조
이 연합은 회원 조직에서 선출된 이사회가 관리하며, 소규모 경영진이 일상 운영을 담당한다. 본사는 AI 산업의 중심지인 캘리포니아주 샌프란시스코에 있다. 회원 자격은 AI 안전에 대한 입증된 헌신이 있는 모든 조직에 열려 있으며, 기업, 스타트업, 대학, 비영리 단체를 포함한다. 개별 연구자도 제휴 회원으로 참여할 수 있으며, 기관 후원 없이 작업 그룹에 기여할 수 있다.
작업 그룹은 연합 활동의 핵심을 이루며, 각 그룹은 특정 기술 영역에 초점을 맞춘다. 현재 그룹에는 적대적 견고성, 모델 평가 및 벤치마킹, 데이터 프라이버시 및 보안, 투명성 및 설명 가능성, AI 거버넌스 및 규정 준수가 포함된다. 각 그룹은 다양한 관점을 보장하기 위해 최소 두 개 회원 조직의 대표가 공동 의장을 맡는다. 그룹은 정기적으로 가상 및 대면 회의를 개최하고 진행 보고서와 기술 논문을 발행한다.
주요 기술 중점 영역
연합의 주요 중점 영역 중 하나는 적대적 견고성으로, 오류를 유발하거나 안전 제어를 우회하도록 설계된 악의적 입력에 대해 AI 모델을 저항하게 만드는 것을 포함한다. 여기에는 Gradient Clipping, Data Augmentation 및 기타 방어 기술에 대한 연구와 표준화된 공격 벤치마크 개발이 포함된다. 연합은 연구자들이 모델을 테스트하는 데 사용할 수 있는 적대적 예시와 평가 제품군의 공개 저장소를 유지한다.
또 다른 중요한 영역은 모델 평가 및 벤치마킹이다. 연합은 Large language model 및 기타 AI 시스템의 안전성, 공정성, 신뢰성을 평가하기 위한 표준화된 테스트 제품군을 개발했다. 이러한 벤치마크는 환각 비율, 출력의 편향, 분포 이동 하의 성능과 같은 주제를 다룬다. 벤치마크는 재현 가능하도록 설계되었으며 새로운 위협을 반영하여 정기적으로 업데이트된다.
데이터 프라이버시 및 보안은 세 번째 기둥으로, 훈련 데이터 유출, 멤버십 추론 공격, 협업 모델 훈련을 위한 안전한 다자간 계산과 같은 문제를 다룬다. 연합은 프라이버시 보호 Machine learning에 대한 지침을 발표했으며 차등 프라이버시 및 연합 학습과 같은 기술에 대한 연구를 지원한다.
연구 기관과의 협력
연합은 MIT CSAIL, Stanford AI Lab, BAIR (Berkeley AI Research), University of Toronto를 포함한 여러 주요 학술 연구소와 공식 파트너십을 유지한다. 이러한 파트너십은 최첨단 연구를 실용적인 도구와 표준으로 전환하는 것을 촉진한다. 예를 들어, 공동 프로젝트는 더 견고한 비전 모델을 위한 Residual Network (ResNet) 아키텍처 사용과 안전 지침에 모델 행동을 정렬하기 위한 Reinforcement Learning from AI Feedback (RLAIF)(AI 피드백 기반 강화 학습) 적용을 탐구했다.
연합에 소속된 개별 연구자들은 이 분야에 주목할 만한 기여를 했다. 적대적 예시 연구로 유명한 Aleksander Madry는 견고성 프로젝트의 자문 역할을 했다. 캘텍의 Anima Anandkumar는 확장 가능한 평가 방법에 기여했다. Machine learning의 선구자인 Michael I. Jordan은 안전 지표의 통계적 기초에 대한 지침을 제공했다. 연합은 또한 박사후 연구원 및 대학원생 연구를 후원하여 차세대 AI 안전 전문가를 양성하는 데 도움을 준다.
출판물 및 오픈소스 도구
연합은 기술 보고서, 백서, 오픈소스 소프트웨어를 꾸준히 발표한다. 주목할 만한 출판물로는 적대적 공격 방법에 대한 포괄적인 조사, 안전성을 희생하지 않고 효율성을 위한 Model Pruning 구현 실용 가이드, 견고성을 위한 Loss Functions 비교 분석이 있다. 모든 출판물은 공개 전에 회원 전문가의 내부 동료 검토를 거친다.
오픈소스 도구 중에서 연합은 인기 있는 Deep learning 라이브러리와 통합되는 보안 테스트 프레임워크를 개발했다. 이 프레임워크는 적대적 섭동 생성, 모델 신뢰도 보정 평가, 잠재적 데이터 중독 탐지를 자동화한다. 여러 회원 기업이 내부 품질 보증을 위해 채택했다. 연합은 또한 모델 안전 벤치마크 리더보드를 유지하여 조직이 산업 표준과 시스템을 비교할 수 있게 한다.
다른 AI 안전 이니셔티브와의 관계
Alliance for Secure AI는 OpenAI와 Anthropic이 주도하는 것과 같은 다른 주요 안전 노력을 보완하는 위치에 있다. 이들 조직이 주로 자체 프론티어 모델의 안전에 초점을 맞추는 반면, 연합은 중립적이고 산업 전반에 걸친 인프라를 제공하는 것을 목표로 한다. BAIR (Berkeley AI Research) 연구소 및 Stanford AI Lab과 같은 학술 이니셔티브와 공동 워크숍 및 공유 데이터셋을 통해 협력한다. 연합은 또한 정부 기관 및 표준 기구와 조정하지만 직접적인 로비 활동에는 참여하지 않는다.
연합은 국제 AI 연구자 그룹인 OpenPanel과 공식 연락 관계를 수립하여 새로운 위협에 대한 발견을 공유한다. 또한 신경 정보 처리 시스템 컨퍼런스 및 국제 학습 표현 컨퍼런스와 같은 학술 대회에 참여하여 보안 주제에 대한 세션을 주최한다.
과제 및 비판
많은 산업 컨소시엄과 마찬가지로 Alliance for Secure AI는 회원 인센티브와 관련된 과제에 직면한다. 비평가들은 기업이 독점 보안 취약점을 공유하거나 비용을 증가시킬 수 있는 표준을 채택하는 것을 꺼릴 수 있다고 지적한다. 연합은 경쟁 전 연구에 초점을 맞추고 작업 그룹 참여를 자발적으로 만듦으로써 이를 완화하려고 시도했다. 그러나 일부 관찰자들은 구속력 있는 약속의 부재가 권고의 영향을 제한한다고 주장한다.
또 다른 과제는 AI 개발의 급속한 속도로, 연합이 벤치마크와 지침을 업데이트하는 능력을 능가할 수 있다. 조직은 작업 그룹이 포괄적인 개정을 기다리기보다 중간 업데이트를 발행하는 애자일 방법론을 채택하여 대응했다. 이러한 노력에도 불구하고 일부 전문가들은 더 공격적인 일정과 회원 준수에 대한 더 큰 투명성을 요구한다.
향후 방향
앞으로 연합은 Neural network 해석 가능성, 다중 모달 모델을 위한 Cross-Attention 메커니즘, Transformer (architecture) 아키텍처의 보안 영향과 같은 새로운 영역으로 초점을 확장할 계획이다. 또한 AMD와 Intel 같은 회원의 작업을 기반으로 안전한 AI 가속기를 개발하기 위해 하드웨어 제조업체와의 파트너십을 모색하고 있다. 연합은 아시아와 유럽의 연구자에 대한 지원을 포함하여 글로벌 커뮤니티와의 참여를 늘릴 의도이다.
핵심 우선순위는 다른 산업의 보안 인증과 유사한 AI 제품 인증 프로그램 개발이다. 연합은 데이터 처리에서 모델 모니터링에 이르는 안전한 배포 기준을 정의하기 위해 회원 기업과 협력하고 있다. 이러한 인증은 아직 계획 단계에 있지만 AI 보안 관행을 제도화하는 중요한 단계를 나타낸다.
Alliance for Secure AI는 Artificial intelligence의 변화하는 환경에 대응하여 계속 진화하고 있다. 협력을 촉진하고 실용적인 자원을 제공함으로써 AI의 이점이 안전성과 보안성을 희생하지 않고 실현되도록 보장하는 것을 목표로 한다. 그 성공은 회원과 더 넓은 연구 커뮤니티의 지속적인 참여에 달려 있다.
회원 자격 및 거버넌스
연합의 회원 자격은 계층화되어 있으며, 재정 기여 수준과 참여 권리가 다르다. 창립 회원은 이사회에 영구 의석을 보유하고, 일반 회원은 매년 대표를 선출한다. 일반적으로 소규모 스타트업이나 학술 그룹인 준회원은 자원에 접근할 수 있지만 투표권은 제한적이다. 연합은 활동, 재정, 회원 참여를 상세히 설명하는 연례 보고서를 발행한다.
일상적인 결정은 전무 이사와 소규모 직원이 내리며, 주요 전략 결정은 이사회 승인이 필요하다. 연합은 윤리적 연구 관행과 취약점의 책임 있는 공개를 강조하는 회원 행동 강령을 수립했다. 분쟁은 내부 옴부즈맨을 통해 해결되며, 필요한 경우 이사회로 이관된다.
연합은 또한 인턴십 프로그램을 운영하여 파트너 대학의 학생들을 여름 프로젝트에 초청한다. 이 인턴들은 작업 그룹에 기여하고 AI 보안 연구에서 실무 경험을 쌓는다. 이 프로그램은 좋은 평가를 받았으며 많은 참가자가 이 분야에서 경력을 쌓았다.
영향 및 평가
Alliance for Secure AI는 기술 커뮤니티에서 일반적으로 좋은 평가를 받았으며, 그 벤치마크와 도구는 많은 학술 논문에서 인용되었다. 산업 분석가들은 학술 연구와 상업 관행 사이의 공백을 메우는 협력적 접근 방식을 칭찬했다. 그러나 일부 프라이버시 옹호자들은 연합의 기술적 솔루션 중심 접근이 알고리즘 편향 및 노동 대체와 같은 더 넓은 사회적 문제를 가릴 수 있다는 우려를 표명했다. 연합은 윤리적 AI 작업 그룹을 추가하여 대응했지만, 그 산출물은 여전히 주로 기술적 성격을 띤다.
구체적인 영향 측면에서 연합의 적대적 견고성 벤치마크는 여러 주요 클라우드 제공업체가 보안 테스트 프로토콜의 일부로 채택했다. 데이터 프라이버시 지침은 Amazon Web Services 및 Microsoft Azure의 새로운 기능 개발에 정보를 제공했다. AI 시스템이 핵심 인프라에 더 통합됨에 따라 보안이 배포의 전제 조건이 되면서 연합의 영향력은 더 커질 것으로 예상된다.
전반적으로 Alliance for Secure AI는 기술 산업 내에서 AI 안전을 제도화하려는 중요한 시도를 나타낸다. 그 성공은 출판물과 도구뿐만 아니라 조직이 AI 시스템의 개발 및 배포에 접근하는 방식을 얼마나 변화시키는지에 의해 측정될 것이다. 분야가 계속 성숙함에 따라 연합의 중립적 조정자이자 지식 허브로서의 역할은 점점 더 중요해질 가능성이 높다.