유럽연합의 인공지능법(AI Act)은 인공지능에 대한 포괄적인 법적 체계를 수립하며, 고위험 AI 시스템을 위한 별도의 등급을 마련하고 있다. 건강, 안전 또는 기본권에 중대한 위험을 초래하는 이러한 시스템은 EU 시장에 출시되기 전에 엄격한 일련의 의무를 준수해야 한다. 이 규정은 시민을 위한 강력한 보호 장치와 인공지능의 이점을 균형 있게 조화시키면서 신뢰할 수 있는 AI를 육성하고 혁신을 보장하는 것을 목표로 한다.
AI Act에 따른 고위험 분류는 두 가지 주요 범주를 포함한다: 이미 EU 분야별 법률(예: 의료 기기, 장난감, 기계류)의 적용을 받는 제품의 안전 구성 요소인 AI 시스템과, 중요 인프라, 교육, 고용, 법 집행, 이민 및 신용 평가와 같은 필수 민간 서비스에 사용되는 시스템을 포함하여 부속서 III에 나열된 독립형 AI 시스템이다. 의무는 제공자(개발자)에게 적용되며, 특정 경우에는 배포자(사용자)에게도 적용되며, 단계적 시행 일정이 마련되어 있다.
범위 및 분류 기준
AI Act는 의도된 목적과 운영되는 분야에 따라 고위험 AI 시스템을 정의한다. 기존 EU 법률(예: 의료 기기 규정 또는 기계류 지침)로 이미 규제되는 제품의 경우, AI 시스템이 안전 구성 요소인 경우 자동으로 고위험으로 간주된다. 독립형 시스템의 경우, 분류는 시스템이 생체 인식 식별, 중요 인프라 관리, 교육 및 직업 훈련, 고용 및 근로자 관리, 필수 서비스 접근, 법 집행, 이민 및 국경 관리, 사법 행정과 같은 부속서 III에 나열된 8개 영역 중 하나에 해당하는지 여부에 따라 달라진다.
유럽위원회는 위임 행위를 통해 부속서 III를 업데이트하고, 위험 증거에 따라 특정 사용 사례를 추가하거나 제거할 권한을 가진다. 이러한 동적 접근 방식은 머신러닝 및 딥러닝 모델의 발전을 포함한 기술 발전에 규정이 적응할 수 있게 한다. 그러나 이 법은 좁은 예외를 포함한다: 부속서 III에 나열된 시스템이 건강, 안전 또는 기본권에 중대한 위해 위험을 초래하지 않는 경우, 제공자는 비분류를 주장할 수 있으며, 이는 국가 당국의 검토를 받는다.
제공자 의무
고위험 AI 시스템 제공자는 시스템 수명 주기 전반에 걸쳐 규정 준수를 보장하는 품질 관리 시스템을 구현해야 한다. 주요 의무에는 오용 및 취약 집단에 대한 잠재적 위해를 포함한 예측 가능한 위험을 식별, 평가 및 완화하는 위험 관리 시스템 구축이 포함된다. 이 프로세스는 반복적이어야 하며, 위험 평가의 지속적인 모니터링과 업데이트가 필요하다.
데이터 거버넌스는 또 다른 핵심 요구 사항이다. 훈련, 검증 및 테스트 데이터 세트는 관련성이 있고 대표성이 있어야 하며 차별적 결과를 초래할 수 있는 편향이 없어야 한다. 제공자는 데이터 출처를 문서화하고, 적절한 데이터 정리 및 준비를 보장하며, 의도된 사용의 특정 맥락을 고려해야 한다. 신경망 아키텍처를 포함하는 시스템의 경우, 이는 과적합 또는 특정 인구 집단의 과소 대표를 피하기 위한 엄격한 검증을 의미한다.
기술 문서는 시스템을 시장에 출시하기 전에 작성되어야 하며, 시스템의 목적, 설계, 개발 프로세스 및 성능 지표에 대한 상세 정보를 포함해야 한다. 이 문서는 최신 상태로 유지되어야 하며 요청 시 국가 관할 당국에 제공되어야 한다. 또한 제공자는 시스템 운영의 추적 가능성을 가능하게 하는 자동 로깅 기능을 구현해야 하며, 특히 실시간 데이터에서 지속적으로 학습하는 시스템의 경우 더욱 그렇다.
적합성 평가 및 등록
고위험 AI 시스템이 EU 시장에 출시되기 전에 적합성 평가 절차를 거쳐야 한다. 대부분의 시스템의 경우, 이는 제공자 자체의 품질 관리 시스템과 기술 문서에 기반한 내부 평가를 포함한다. 그러나 생체 인식 식별 시스템과 같은 특정 범주의 경우, 지정 기관의 제3자 평가가 필요하다. 평가는 위험 관리, 데이터 거버넌스 및 투명성을 포함하여 법에 명시된 의무 준수를 검증한다.
적합성이 확립되면 제공자는 EU 적합성 선언을 작성하고 CE 마크를 부착해야 한다. 그런 다음 시스템은 유럽위원회가 유지 관리하는 EU 차원의 데이터베이스에 등록되어야 한다. 이 등록에는 제공자, 시스템의 의도된 목적 및 기술 문서 링크에 대한 정보가 포함된다. 데이터베이스는 대부분의 고위험 시스템에 대해 공개적으로 접근 가능하며, 법 집행 및 이민 애플리케이션의 경우 보안 이익을 보호하기 위해 접근이 제한된다.
투명성 및 인간 감독
고위험 AI 시스템은 효과적인 인간 감독을 허용하도록 설계되어야 한다. 이는 자연인이 시스템의 출력을 이해하고, 운영에 개입하며, 필요할 때 결정을 무효화하거나 되돌릴 수 있어야 함을 의미한다. 감독 수준은 위험과 시스템의 자율성에 비례해야 한다. 예를 들어, 고용 심사에 사용되는 시스템은 인간 채용 담당자가 자동화된 결정을 검토하고 이의를 제기할 수 있어야 한다.
투명성 의무는 또한 사용자가 고위험 AI 시스템과 상호 작용할 때 이를 알 수 있어야 하며, 맥락에서 명백하지 않은 경우에 해당한다. 딥페이크와 같은 합성 콘텐츠를 생성하는 시스템의 경우, 제공자는 출력이 인공적 기원을 나타내는 기계 판독 가능 형식으로 표시되도록 보장해야 한다. 이는 사실적인 이미지, 오디오 또는 텍스트를 생성할 수 있는 생성형 AI 모델과 특히 관련이 있다.
배포자 책임
배포자 또는 고위험 AI 시스템 사용자는 자체 의무를 가진다. 제조업체가 제공한 사용 지침에 따라 시스템을 사용해야 하며, 의도된 목적과 제한 사항을 존중해야 한다. 배포자는 또한 입력 데이터가 관련성이 있고 편향되지 않도록 보장하고, 성능 저하 또는 드리프트 징후가 있는지 시스템을 모니터링해야 한다.
고용 맥락에서 배포자는 직원에게 고위험 AI 시스템의 적용을 받는다는 사실을 알리고 시스템의 논리와 잠재적 영향에 대한 명확한 정보를 제공해야 한다. 신용 평가나 보험과 같이 개인의 권리에 영향을 미치는 결정을 내리는 시스템의 경우, 배포자는 특히 시스템이 민감한 데이터를 처리하거나 취약 인구를 포함하는 경우 기본권 영향 평가를 수행해야 한다.
배포자는 또한 시스템이 생성한 자동 로그를 유지 관리하고 규정에 명시된 기간(일반적으로 6개월, 분야별 법률에 달리 규정되지 않는 한) 동안 보존할 책임이 있다. 국가 당국과 협력하고 위해를 초래할 수 있는 심각한 사고 또는 오작동을 보고해야 한다.
거버넌스 및 집행
AI Act의 집행은 국가 관할 당국과 유럽위원회 간에 공유된다. 각 회원국은 최소한 하나의 지정 기관과 하나의 시장 감시 기관을 지정해야 한다. 유럽위원회는 EU 전역의 일관된 적용을 촉진하고 기술 및 윤리적 문제에 대해 조언하기 위해 유럽 인공지능 위원회를 설립할 것이다.
불이행에 대한 벌칙은 상당하다. 금지된 관행과 관련된 위반의 경우 벌금은 최대 3,500만 유로 또는 회사의 글로벌 연간 매출액의 7% 중 더 높은 금액에 이를 수 있다. 고위험 시스템 의무 불이행의 경우 벌금은 최대 1,500만 유로 또는 매출액의 3%까지 가능하다. 당국에 잘못된 정보를 제공하는 경우 더 작은 벌금이 적용된다.
일정 및 전환 기간
AI Act는 2024년 8월 1일에 발효되었으며, 단계적 시행 일정이 마련되어 있다. 사회 점수화 및 조작적 기법과 같은 특정 AI 관행에 대한 금지는 2025년 2월 2일부터 적용되었다. 고위험 시스템 의무는 시스템 범주에 따라 단계적으로 적용된다: 규제 제품에 내장된 시스템은 더 긴 전환 기간을 가지며, 2027년 8월 2일까지 완전히 적용된다. 부속서 III에 나열된 독립형 고위험 시스템은 이미 시장에 있는 시스템에 대한 일부 예외를 제외하고 2026년 8월 2일까지 준수해야 한다.
대규모 언어 모델 시스템을 포함한 범용 AI 모델 제공자는 2025년 8월 2일부터 적용되는 추가 투명성 의무가 있다. 여기에는 훈련 데이터 요약 공개 및 저작권법 준수 보장이 포함된다. 이 법은 또한 혁신 기업이 완전한 준수 전에 감독 조건에서 고위험 시스템을 테스트할 수 있도록 규제 샌드박스 체계를 수립한다.
산업 및 혁신에 미치는 영향
AI Act의 고위험 조항은 규제 분야에서 머신러닝 시스템을 개발하는 기술 기업, 특히 오픈AI, 앤트로픽, 구글 딥마인드와 같은 기업에 중대한 영향을 미친다. AMD, 인텔, 엔비디아와 같은 하드웨어 제공업체(법에 명시적으로 언급되지는 않았지만)의 경우, 규정은 AI 가속기가 로깅 및 추적 기능을 지원해야 하므로 설계 방식에 간접적으로 영향을 미친다.
중소기업은 규정 준수 부담을 충족하는 데 어려움을 겪을 수 있지만, 법은 적합성 평가 수수료 감면 및 테스트 시설 접근과 같은 지원 조치를 포함한다. 규정은 또한 EU 전역의 규정 준수 관행을 조화시키는 데 도움이 될 수 있는 행동 강령 및 표준 개발을 장려한다.
전반적으로 EU AI Act는 고위험 AI 시스템을 규제하는 선구적인 노력을 대표하며, AI 거버넌스의 글로벌 기준을 설정한다. 그 성공은 효과적인 구현, 국제 협력 및 안전과 혁신의 균형을 맞추는 능력에 달려 있다. 인공지능 분야가 계속 진화함에 따라, 이 법의 위험 기반 접근 방식은 고급 AI 기술이 제기하는 사회적 과제를 해결하려는 다른 관할권의 모델이 될 수 있다.