NIST AI 위험 관리 프레임워크(AI RMF)는 미국 연방 기관인 국립표준기술연구소(NIST)가 발행한 자발적 지침 문서입니다. 2023년 1월에 발표되었으며, 조직이 인공지능 시스템과 관련된 위험을 식별, 평가, 관리할 수 있도록 구조화된 프로세스 기반 접근 방식을 제공합니다. 이 프레임워크는 다양한 분야와 조직 규모에 적용할 수 있도록 설계되었으며, 규제 의무를 부과하지 않고 AI 위험 거버넌스를 위한 공통 언어와 실무 세트를 제공합니다. 이는 기존 법적 및 규제 의무를 보완하지만 대체하지는 않으며, 다른 위험 관리 표준과 함께 사용하도록 고안되었습니다.
AI RMF는 2020년 AI에 관한 행정 명령에 대응하여 NIST가 시작한 다중 이해관계자 프로세스를 통해 개발되었습니다. 이는 사이버 보안 및 기업 위험 관리와 같은 기존 위험 관리 실무를 활용하여 AI의 고유한 특성(사회기술적 성격, 데이터 의존성, 의도하지 않은 피해 가능성 포함)에 맞게 조정합니다. 이 프레임워크는 AI 위험이 순전히 기술적인 문제가 아니라 사회적, 윤리적, 조직적 차원도 포함한다는 점을 강조하며, 일회성 준수 활동이 아닌 사전 예방적이고 지속적인 위험 관리 접근 방식을 권장합니다.
핵심 기능
AI RMF는 Govern(관리), Map(매핑), Measure(측정), Manage(대응)의 네 가지 핵심 기능을 중심으로 구성됩니다. 각 기능은 조직이 AI 위험을 효과적으로 관리하기 위해 수행해야 하는 활동의 높은 수준의 범주를 나타냅니다. 이러한 기능은 엄격한 선형 순서로 수행되도록 의도된 것이 아니라, 지속적인 개선을 가능하게 하는 피드백 루프를 통해 반복적이고 상호 연관되어 있습니다.
Govern 기능은 AI 위험 관리에 필요한 조직 구조, 정책, 프로세스를 수립하는 데 중점을 둡니다. 여기에는 위험 관리 역할과 책임 정의, AI 위험을 더 넓은 기업 위험 관리에 통합, AI 시스템이 조직의 가치와 법적 요구 사항에 부합하도록 보장하는 활동이 포함됩니다. 이 기능은 또한 AI 수명 주기 전반에 걸친 투명성, 책임성, 이해관계자 참여의 필요성을 다룹니다.
Map 기능은 AI 시스템이 작동하는 맥락(의도된 목적, 사용하는 데이터, 개인과 지역사회에 대한 잠재적 영향 포함)을 이해하는 것과 관련됩니다. 매핑 활동에는 시스템의 역량과 한계 식별, 사회기술적 맥락 분석, 가정과 잠재적 실패 모드 문서화가 포함됩니다. 이 기능은 시스템이 무엇을 하도록 설계되었는지, 어디에서 문제가 발생할 수 있는지 명확히 함으로써 조직이 위험 평가의 기준선을 수립하는 데 도움을 줍니다.
Measure 기능은 다양한 방법을 사용하여 AI 위험을 평가하고 정량화하는 데 중점을 둡니다. 여기에는 지표와 평가 절차 개발, 다양한 조건에서 시스템 테스트, 잠재적 피해의 가능성과 심각도를 결정하기 위한 결과 분석이 포함됩니다. 측정에는 머신 러닝 벤치마크에서 모델 성능 평가와 같은 기술적 테스트와 사회적 및 윤리적 요소를 고려한 정성적 평가가 모두 포함될 수 있습니다. 프레임워크는 일부 위험은 정량화하기 어렵다는 점을 인식하고 정량적 및 정성적 접근 방식을 모두 사용하도록 권장합니다.
Manage 기능은 식별된 위험에 대응하는 방법에 대한 결정을 내리고 해당 결정을 구현하는 것과 관련됩니다. 여기에는 위험 우선순위 지정, 완화 전략 선택, 시간이 지남에 따른 전략의 효과 모니터링이 포함됩니다. 관리 활동에는 시스템 재설계, 안전 장치 추가, 인간 감독 제공, 또는 위험이 허용할 수 없는 수준인 경우 시스템 중단이 포함될 수 있습니다. 프레임워크는 위험 관리가 지속적인 프로세스이며, 시스템이 진화하거나 새로운 정보가 제공됨에 따라 정기적인 검토와 적응이 필요하다고 강조합니다.
핵심 원칙과 특성
AI RMF는 적용을 안내하는 몇 가지 핵심 원칙을 기반으로 구축되었습니다. 가장 중요한 것 중 하나는 AI 위험 관리가 사회기술적 노력이어야 한다는 점으로, 기술 시스템과 그것이 사용되는 사회적 맥락 간의 상호 작용을 고려해야 함을 의미합니다. 이 원칙은 AI 피해가 종종 알고리즘과 인간 행동, 제도적 관행, 사회적 규범의 상호 작용에서 발생하며 기술적 해결만으로는 충분하지 않다는 점을 인식합니다.
또 다른 원칙은 위험 관리가 자발적이고 유연해야 하며, 조직이 특정 상황에 맞게 프레임워크를 조정할 수 있도록 해야 한다는 것입니다. 프레임워크는 특정 도구나 기술을 규정하지 않고, 다양한 분야, 사용 사례, 성숙도 수준에 맞게 조정할 수 있는 실무 세트를 제공합니다. 또한 조직이 최소한의 준수를 넘어 위험 관리 역량의 지속적인 개선을 위해 노력하도록 장려합니다.
프레임워크는 또한 투명성과 커뮤니케이션의 중요성을 강조합니다. 조직은 위험 관리 활동을 문서화하고 사용자, 규제 기관, 영향을 받는 지역사회를 포함한 이해관계자와 소통하도록 권장됩니다. 이러한 투명성은 신뢰 구축에 도움이 되며 외부 검토를 가능하게 하여 더 나은 위험 식별과 완화로 이어질 수 있습니다.
다른 표준 및 규정과의 관계
AI RMF는 미국 및 국제적으로 기존 표준과 규정을 보완하도록 설계되었습니다. 이는 AI 시스템을 다양한 위험 등급으로 분류하고 해당 의무를 부과하는 EU AI 법의 위험 기반 접근 방식의 일반 원칙과 일치합니다. 그러나 AI RMF는 자발적인 반면, EU AI 법은 고위험 AI 시스템에 대한 특정 요구 사항이 있는 구속력 있는 규정입니다. 여러 관할권에서 운영되는 조직은 AI RMF를 위험 관리 실무의 기준선으로 사용한 다음, 해당되는 경우 더 엄격한 법적 요구 사항을 충족하도록 조정할 수 있습니다.
프레임워크는 또한 얼굴 인식 알고리즘의 정확성과 편향을 평가하는 NIST 얼굴 인식 공급업체 테스트와 같은 초기 NIST 작업을 기반으로 구축되었습니다. 해당 프로그램은 특정 기술 성능에 초점을 맞추는 반면, AI RMF는 설계부터 배포 및 폐기까지 AI 시스템의 전체 수명 주기를 다루는 더 넓은 관점을 취합니다.
개발 및 채택
NIST는 AI 위험 관리 프레임워크를 만들도록 기관에 지시한 AI에 관한 행정 명령이 발표된 후 2020년에 AI RMF 개발 프로세스를 시작했습니다. 이 프로세스는 일련의 워크숍, 공개 의견 수렴 기간, 산업계, 학계, 시민 사회 전문가와의 협의를 포함했습니다. 프레임워크의 첫 번째 버전은 2023년 1월에 발표되었으며, 더 자세한 지침과 예시를 제공하는 AI RMF 플레이북이 함께 제공되었습니다.
출시 이후 AI RMF는 기술 기업, 의료 서비스 제공자, 금융 기관, 정부 기관을 포함한 다양한 분야의 조직에서 널리 채택되었습니다. 많은 조직이 자체 AI 거버넌스 프로그램 개발의 출발점으로 사용하고 있으며, 일부는 기존 위험 관리 프레임워크에 통합했습니다. 이 프레임워크는 또한 AI 거버넌스에 대한 국제적 논의에 영향을 미쳐 유사한 지침을 개발하는 다른 국가들의 참고 자료 역할을 하고 있습니다.
비판과 한계
광범위한 채택에도 불구하고 AI RMF는 비판에 직면했습니다. 일부 비평가들은 자발적 성격이 특히 채용, 대출, 형사 사법과 같은 고위험 응용 분야에서 AI의 잠재적 피해를 해결하기에 불충분하다고 주장합니다. 그들은 의무 요구 사항이 없으면 경쟁적인 비즈니스 압력이 있을 때 조직이 위험 관리에 적절히 투자하지 않을 수 있다고 주장합니다.
다른 이들은 프레임워크의 일반성이 허용 가능한 위험에 대한 특정 지표나 기준을 제공하지 않기 때문에 실제 적용을 어렵게 만들 수 있다고 지적했습니다. 조직은 프레임워크의 원칙을 해석하고 이를 구체적인 행동으로 전환하는 데 어려움을 겪을 수 있습니다. 또한 프레임워크는 AI 개발자와 영향을 받는 지역사회 간의 권력 불균형을 충분히 다루지 않고, 독립적인 감독보다 자기 평가에 너무 많이 의존한다는 비판을 받았습니다.
향후 방향
NIST는 피드백과 AI 기술의 새로운 발전을 기반으로 업데이트할 계획과 함께 AI RMF를 계속 발전시키고 있습니다. 기관은 또한 생성형 AI 시스템과 같은 대규모 언어 모델에 특정한 위험을 다루는 AI RMF 생성형 AI 프로필과 같은 관련 리소스를 개발했습니다. 이 프로필은 잘못된 정보, 저작권 침해, 모델 환각과 같은 위험 관리에 대한 추가 지침을 제공합니다.
AI 기술이 계속 발전함에 따라 AI RMF는 조직이 AI 거버넌스에 접근하는 방식을 형성하는 데 점점 더 중요한 역할을 할 가능성이 있습니다. 사회기술적 위험 관리와 지속적인 개선에 대한 강조는 새로운 도전에 적응할 수 있는 유연한 기반을 제공하며, 자발적 성격은 혁신과 실험을 허용합니다. 그러나 프레임워크의 효과는 조직이 그 원칙에 진정으로 헌신하고 이를 운영에 통합하는 정도에 달려 있습니다.
결론
NIST AI 위험 관리 프레임워크는 빠르게 진화하는 분야에서 AI 위험 관리에 대한 실용적인 지침을 제공하려는 중요한 노력을 나타냅니다. 사회기술적 접근 방식, 지속적인 개선, 이해관계자 참여를 강조함으로써 책임 있는 AI 시스템을 개발하려는 조직에 귀중한 자원을 제공합니다. 한계가 없는 것은 아니지만, AI가 사회에 더욱 보편화됨에 따라 미국 및 국제 AI 거버넌스에 미치는 영향은 더욱 커질 가능성이 있습니다.