유럽 연합의 인공지능법(AI Act)은 2024년 8월 1일에 발효되었으며, 인공지능에 대한 위험 기반 규제 체계를 확립한다. 네 가지 위험 범주 중 고위험 AI 시스템은 건강, 안전 또는 기본권에 중대한 위협을 초래할 것으로 예상되는 시스템이다. 이러한 시스템은 규제에 따라 가장 엄격한 의무를 부과받으며, 여기에는 필수 적합성 평가, 투명성 요구사항, 인간 감독, 그리고 특정 경우에는 배포 전 기본권 영향 평가(FRIA)가 포함된다. AI Act는 2021년 4월 21일 유럽 위원회가 제안했고, 2024년 3월 13일 유럽 의회를 통과했으며, 2024년 5월 21일 EU 이사회에서 만장일치로 승인되었다. 그 조항은 발효일로부터 6개월에서 36개월에 걸쳐 점진적으로 시행되고 있다.
고위험 분류는 건강, 교육, 채용, 핵심 인프라 관리, 법 집행 및 사법 분야와 같은 중요한 부문에서 사용되는 AI 시스템에 적용된다. 이러한 시스템은 설계부터 배포까지 전체 수명 주기에 걸쳐 품질, 투명성 및 안전 의무를 준수해야 한다. 고위험 적용 목록은 AI Act 자체를 수정하지 않고도 시간이 지남에 따라 확장될 수 있어, 규제가 새로운 위험에 적응할 수 있게 한다. 시민들은 고위험 AI 시스템에 대해 불만을 제기하고, 자신의 권리에 영향을 미치는 그러한 시스템의 결정에 대한 설명을 받을 권리가 있다.
정의 및 범위
고위험 AI 시스템은 AI Act에 따라 개인이나 사회에 중대한 해를 끼칠 가능성이 있는 응용 프로그램으로 정의된다. 분류는 시스템의 기반 기술이 아닌 의도된 목적에 기반한다. 예를 들어, 의료 진단에 사용되는 AI 시스템은 고위험이지만, 동일한 알고리즘이 행정 문서 분류에 사용되면 최소 위험일 수 있다. 이 법은 군사, 국가 안보, 연구 및 비전문적 사용에 대한 면제를 두고 광범위한 부문에 걸쳐 대부분의 AI 시스템을 다룬다. 제품 규제의 한 형태로서, 이 법은 개인이 아닌 제공자와 배포자에게 의무를 부과한다.
고위험 범주에는 의료 기기 규정이나 기계 규정과 같은 EU 조화 법률의 적용을 받는 제품의 안전 구성 요소이거나 그 자체로 제품인 AI 시스템이 포함된다. 또한 생체 인식 식별, 핵심 인프라, 교육 및 직업 훈련, 고용 및 근로자 관리, 필수 서비스, 법 집행, 이민 및 망명, 사법 행정을 포함한 특정 영역의 독립형 AI 시스템도 고위험이다. 그 범위는 광범위하며, 이러한 시스템이 기본권에 영향을 미칠 수 있는 가능성을 반영한다.
제공자 및 배포자의 의무
고위험 AI 시스템의 제공자는 시스템의 수명 주기 전반에 걸쳐 위험을 식별하고 완화하는 위험 관리 시스템을 구현해야 한다. 또한 훈련, 검증 및 테스트 데이터가 관련성이 있고 대표적이며 편향이 없도록 보장해야 한다. 기술 문서는 시스템을 시장에 출시하기 전에 작성되어 법 준수를 입증해야 한다. 시스템 운영의 추적 가능성을 가능하게 하기 위해 로깅 기능이 내장되어야 한다. 인간 감독이 요구되며, 이는 자연인이 시스템의 출력을 해석하고 필요할 때 이를 무시할 수 있어야 함을 의미한다.
고위험 AI 시스템의 배포자 또는 사용자도 자신의 의무가 있다. 그들은 사용 지침에 따라 시스템을 사용하고, 입력 데이터가 관련성이 있고 충분히 대표적인지 확인하며, 위험 징후가 있는지 시스템 작동을 모니터링해야 한다. 또한 영향을 받는 개인에게 고위험 시스템과 상호 작용하고 있음을 알려야 하며, 경우에 따라 배포 전 기본권 영향 평가를 수행해야 한다. 이 평가는 기본권에 대한 잠재적 영향을 식별하고 완화하기 위한 사전 검토로, 알고리즘 영향 평가에 대한 초기 연구를 기반으로 하며, 이러한 도구는 영향을 받는 커뮤니티를 식별하고 가능한 해를 설명하며 공공 검토의 기반을 제공해야 한다고 제안한다.
적합성 평가 및 시장 감시
고위험 AI 시스템이 EU 시장에 출시되기 전에 적합성 평가를 거쳐야 한다. 이 과정은 시스템이 AI Act의 요구사항을 충족하는지 검증한다. 많은 고위험 시스템의 경우 제공자가 자체 평가할 수 있지만, 생체 인식 식별이나 법 집행과 같은 영역에서 사용되는 시스템은 지정 기관이 참여해야 한다. 평가에는 위험 관리 시스템, 데이터 거버넌스, 기술 문서 및 인간 감독 조치에 대한 검토가 포함된다. 통과 후 시스템은 적합성을 나타내는 CE 마크를 받는다.
각 회원국의 시장 감시 당국은 배포 후 준수 여부를 모니터링한다. 시스템이 비준수로 판명되면 제공자에게 시정 조치를 요구할 수 있다. 이 법에 의해 설립된 유럽 인공지능 위원회는 국가 간 협력을 촉진하고 EU 전역에서 일관된 집행을 보장한다. 일반 데이터 보호 규정과 마찬가지로, AI Act는 EU 내에 사용자가 있는 경우 EU 외부의 제공자에게도 역외 적용될 수 있으며, 이는 비유럽 기업도 준수해야 함을 의미한다.
기본권 영향 평가
기본권 영향 평가(FRIA)는 공공 서비스, 법 집행 및 이민과 같은 특정 부문에서 사용되는 고위험 AI 시스템에 요구된다. FRIA는 배포 전에 수행되어야 하며, 비차별, 프라이버시 및 데이터 보호를 포함한 기본권에 대한 시스템의 잠재적 영향에 대한 상세한 분석을 포함한다. 시스템의 의도된 목적, 영향을 받는 개인의 범주 및 그들의 권리에 대한 특정 위험을 설명해야 한다. 완화 조치가 개요되어야 하며 평가는 최신 상태로 유지되어야 한다.
FRIA는 AI Act의 주요 혁신으로, 알고리즘 영향 평가를 향한 더 넓은 추세를 반영한다. 학자들은 이러한 평가가 영향을 받는 개인과 커뮤니티를 식별하고, 가능한 해를 설명하며, 공공 및 제도적 검토의 기반을 제공해야 한다고 주장해 왔다. AI Act의 FRIA 요구사항은 고위험 시스템이 사회적 영향에 대한 신중한 고려 후에만 배포되도록 보장하기 위해 설계되었다.
고위험 대 기타 위험 범주
AI Act는 AI 응용 프로그램을 허용 불가, 고위험, 제한, 최소 위험의 네 가지 수준으로 분류한다. 허용 불가 위험 응용 프로그램은 인간 행동을 조작하거나, 공공 장소에서 실시간 원격 생체 인식 식별을 사용하거나, 사회 점수를 가능하게 하는 것을 포함하여 전면 금지된다. 설명된 고위험 응용 프로그램은 엄격한 의무를 부과받는다. 딥페이크와 같은 제한 위험 응용 프로그램은 사용자가 AI와 상호 작용하고 있음을 알리도록 요구하는 투명성 의무만 있다. 비디오 게임이나 스팸 필터와 같은 최소 위험 응용 프로그램은 규제되지 않으며, 최대 조화 규칙으로 인해 회원국은 추가 제한을 부과할 수 없다.
이 위험 기반 체계는 제품 안전 모델을 따르며, 규제 의무는 잠재적 영향에 따라 증가한다. 이는 중대한 위험을 창출할 가능성이 있는 시스템에 감독을 집중하고 덜 민감한 용도에는 더 가벼운 접근을 허용하기 위한 것이다. 일부 법학자들은 이 법이 '신뢰할 수 있는 AI'를 이러한 안전 및 위험 기준에 대한 준수를 입증할 수 있는 시스템으로 규정한다고 주장한다. 유럽 의회 연구 서비스는 위원회의 영향 평가가 정책 옵션을 비교할 때 이해관계자 협의와 기존 연구를 활용했다고 언급했다.
범용 AI 및 고위험 중복
2023년에 초안 법은 ChatGPT와 같은 생성 AI 시스템의 부상을 해결하기 위해 수정되었으며, 이러한 시스템의 범용 기능은 주요 체계에 맞지 않았다. 광범위한 작업을 수행할 수 있는 기반 모델을 다루는 범용 AI에 대한 새로운 범주가 추가되었다. OpenAI, Anthropic 및 Google DeepMind가 개발한 것과 같은 이러한 모델은 투명성 요구사항을 적용받으며, 오픈 소스 모델에는 축소된 의무가 부과된다. 훈련에 10^25 부동 소수점 연산 이상이 필요한 체계적 위험을 초래하는 고영향 모델은 추가 평가와 적대적 테스트를 거쳐야 한다.
범용 AI는 자동으로 고위험은 아니지만, 고위험 응용 프로그램에서의 사용은 고위험 의무를 촉발한다. 예를 들어, 의료 진단 도구에 사용되는 대규모 언어 모델은 AI Act의 고위험 요구사항을 적용받는다. 2025년 7월 10일에 발표된 범용 AI 행동 강령은 투명성, 저작권 및 안전과 보안에 관한 세 가지 주요 장을 개요하며 제공자가 준수를 입증하는 데 도움을 준다. 강령 참여는 자발적이지만 법의 의무를 충족하기 위한 체계를 제공한다.
집행 및 제재
AI Act의 집행은 점진적으로 시작되며, 허용 불가 위험 응용 프로그램에 대한 금지는 2025년 2월부터 적용되고 고위험 의무는 2026년 8월부터 적용된다. 비준수에 대한 제재는 상당하며, 금지 관행과 관련된 위반의 경우 최대 3,500만 유로 또는 전 세계 연간 매출액의 7% 중 더 높은 금액에 이를 수 있다. 기타 위반의 경우 제재는 최대 1,500만 유로 또는 매출액의 3%에 이를 수 있다. 이러한 벌금은 일반 데이터 보호 규정에 따른 벌금과 유사하며, EU의 강력한 집행에 대한 의지를 반영한다.
회원국 대표와 위원회로 구성된 유럽 인공지능 위원회는 집행 조정에서 핵심 역할을 한다. 법의 일관된 적용을 보장하기 위해 지침과 의견을 발행한다. 국가 감독 당국은 불만을 조사하고 제재를 부과할 책임이 있다. 법의 역외 적용 범위는 미국이나 아시아와 같은 EU 외부의 제공자도 EU 사용자에게 AI 시스템을 제공하는 경우 준수해야 함을 의미한다.
혁신 및 산업에 미치는 영향
AI Act의 고위험 요구사항은 AI 산업에 중대한 영향을 미친다. 의료, 금융 또는 공공 서비스를 위한 AI 시스템을 개발하는 기업은 문서화, 테스트 및 인간 감독을 포함한 준수 조치에 투자해야 한다. 이는 개발 비용을 증가시킬 수 있지만, AI 기술에 대한 신뢰를 높일 수 있는 명확한 규제 체계를 제공한다. 이 법은 혁신과 보호의 균형을 목표로 하며, 그 위험 기반 접근은 다른 관할권의 모델로 간주된다.
Artificial intelligence 연구자와 개발자에게 이 법은 Machine learning 및 Deep learning과 같은 기술을 책임 있는 방식으로 사용하도록 장려한다. 또한 편향과 책임에 대한 우려를 해결하는 데 도움이 될 수 있는 투명성을 촉진한다. 이 법의 데이터 거버넌스 및 로깅 요구사항은 종종 불투명한 Neural network 및 Transformer (architecture) 기반 시스템에 특히 관련이 있다. 인간 감독을 의무화함으로써, 이 법은 AI 시스템이 더 자율적으로 변하더라도 인간 통제 하에 유지되도록 보장하려고 한다.
향후 개발
고위험 적용 목록은 시간이 지남에 따라 확장될 수 있어 EU가 새로운 위험에 대응할 수 있게 한다. 이 법은 또한 최소 위험 시스템에 대한 자발적 행동 강령 조항을 포함하여 모범 사례를 장려한다. AI 기술이 발전함에 따라 유럽 위원회는 법에 대한 업데이트를 제안할 수 있으며, 유럽 인공지능 위원회는 계속해서 지침을 제공할 것이다. 이 법의 성공은 회원국 간의 효과적인 집행과 협력, 그리고 AI 규제에 대한 국제적 조정에 달려 있을 것이다.
요약하면, EU AI Act에 따른 고위험 AI 시스템은 세계에서 가장 포괄적인 규제 요구사항 중 일부를 적용받는다. 그들은 안전, 투명성 및 인간 감독에 대한 엄격한 기준을 충족해야 하며, 시장 진입 전에 적합성 평가를 거쳐야 한다. 이 법은 기본권을 보호하면서 혁신을 촉진하는 방식으로 AI를 규제하는 중요한 단계를 나타낸다. 그 영향은 전 세계적으로 느껴질 것이며, 많은 기업이 EU 시장에서 운영하려면 그 요구사항에 적응해야 할 것이다.