欧州連合の人工知能法（AI法）は、2024年8月1日に施行され、人工知能に対するリスクベースの規制枠組みを確立している。その4つのリスク区分のうち、高リスクAIシステムとは、健康、安全、または基本権に重大な脅威をもたらすと予想されるものを指す。これらのシステムは、規制下で最も厳しい義務、すなわち強制的な適合性評価、透明性要件、人間による監視、および場合によっては配備前の基本権影響評価（FRIA）を課される。AI法は、2021年4月21日に欧州委員会によって提案され、2024年3月13日に欧州議会を通過し、2024年5月21日にEU理事会で全会一致で承認された。その規定は、施行から6か月から36か月かけて段階的に導入されている。
高リスク分類は、医療、教育、採用、重要インフラ管理、法執行、司法などの重要分野で使用されるAIシステムに適用される。これらのシステムは、設計から配備までのライフサイクル全体を通じて、品質、透明性、安全性に関する義務を遵守しなければならない。高リスク用途のリストは、AI法自体を改正することなく時間の経過とともに拡大でき、規制が新たなリスクに適応することを可能にしている。市民は、高リスクAIシステムについて苦情を申し立てる権利、およびそのようなシステムが自分たちの権利に影響を与える決定について説明を受ける権利を有する。
定義と範囲
高リスクAIシステムは、AI法において、個人または社会に重大な害を及ぼす可能性が高いアプリケーションとして定義されている。分類は、システムの基盤となる技術ではなく、意図された目的に基づいて行われる。例えば、医療診断に使用されるAIシステムは高リスクであるが、同じアルゴリズムが行政文書の仕分けに使用される場合は最小リスクとなり得る。この法律は、軍事、国家安全保障、研究、および非専門的利用を例外として、幅広い分野のほとんどのAIシステムを対象としている。製品規制の一形態として、個人ではなく提供者と配備者に義務を課す。
高リスク区分には、EU調和法（医療機器規則や機械規則など）の対象となる製品の安全コンポーネントであるAIシステム、またはそれ自体が製品であるAIシステムが含まれる。さらに、生体認証、重要インフラ、教育および職業訓練、雇用および労働者管理、必須サービス、法執行、移民および亡命、司法運営などの特定分野におけるスタンドアロンAIシステムも高リスクである。その範囲は広く、これらのシステムが基本権に影響を与える可能性を反映している。
提供者と配備者の義務
高リスクAIシステムの提供者は、システムのライフサイクル全体を通じてリスクを特定し軽減するリスク管理システムを実装しなければならない。また、トレーニング、検証、テストデータが適切で、代表的で、偏りがないことを確保しなければならない。技術文書は、システムを市場に出す前に作成し、法律への適合性を示さなければならない。システムの運用のトレーサビリティを可能にするために、ログ記録機能を組み込む必要がある。人間による監視が必須であり、自然人（自然人が）システムの出力を解釈し、必要に応じてそれを無効化できることを意味する。
高リスクAIシステムの配備者、つまり利用者にも独自の義務がある。指示に従ってシステムを使用し、入力データが適切で十分に代表的であることを確保し、リスクの兆候がないかシステムの動作を監視しなければならない。また、影響を受ける個人に高リスクシステムと対話していることを知らせ、場合によっては配備前に基本権影響評価を実施しなければならない。この評価は、基本権への潜在的な影響を特定し軽減するための事前審査であり、影響を受けるコミュニティを特定し、起こり得る害を説明し、公的監視の基盤を提供することを示唆するアルゴリズム影響評価に関する先行研究に基づいている。
適合性評価と市場監視
高リスクAIシステムをEU市場に出す前に、適合性評価を受けなければならない。このプロセスは、システムがAI法の要件を満たしていることを検証する。多くの高リスクシステムでは、提供者が自己評価できるが、生体認証や法執行などの分野で使用されるものについては、指定機関（notified body）の関与が必要である。評価には、リスク管理システム、データガバナンス、技術文書、人間による監視措置のレビューが含まれる。合格後、システムは適合を示すCEマークを受け取る。
各加盟国の市場監視当局は、配備後の適合性を監視する。システムが不適合であることが判明した場合、提供者に是正措置を要求できる。この法律によって設立された欧州人工知能委員会は、各国の協力を促進し、EU全体での一貫した執行を確保する。一般データ保護規則（GDPR）と同様に、AI法はEU内に利用者がいる場合、EU外の提供者にも域外適用される可能性があり、欧州以外の企業も遵守する必要がある。
基本権影響評価
基本権影響評価（FRIA）は、公共サービス、法執行、移民などの特定分野で使用される高リスクAIシステムに義務付けられている。FRIAは配備前に実施され、非差別、プライバシー、データ保護を含む基本権へのシステムの潜在的な影響の詳細な分析を含む。システムの意図された目的、影響を受ける個人のカテゴリー、およびその権利への具体的なリスクを記述しなければならない。緩和措置を概説し、評価を最新の状態に保つ必要がある。
FRIAはAI法の重要な革新であり、アルゴリズム影響評価へのより広範な傾向を反映している。学者らは、そのような評価は影響を受ける個人とコミュニティを特定し、起こり得る害を説明し、公的および制度的監視の基盤を提供すべきだと主張してきた。AI法のFRIA要件は、高リスクシステムがその社会的影響を慎重に検討した後にのみ配備されることを確実にするように設計されている。
高リスクと他のリスク区分の比較
AI法は、AIアプリケーションを許容不能、高、限定、最小の4つのレベルに分類している。許容不能リスクのアプリケーションは、人間の行動を操作するもの、公共空間でのリアルタイム遠隔生体認証を使用するもの、ソーシャルスコアリングを可能にするものなど、全面的に禁止されている。前述の高リスクアプリケーションは、厳格な義務の対象となる。ディープフェイクなどの限定リスクアプリケーションは、利用者がAIと対話していることを知らされることを要求する透明性義務のみを持つ。ビデオゲームやスパムフィルターなどの最小リスクアプリケーションは規制されておらず、最大限の調和規則により、加盟国は追加の制限を課すことはできない。
このリスクベースのスキームは、製品安全モデルに従っており、規制上の義務は潜在的な影響とともに増加する。これは、重大なリスクを生み出す可能性が高いシステムに監視を集中させ、感度の低い用途にはより軽いアプローチを可能にすることを意図している。一部の法学者は、この法律が「信頼できるAI」を、これらの安全性とリスクの閾値への適合性を実証できるシステムとして位置付けていると主張している。欧州議会調査局は、委員会の影響評価が、政策オプションを比較する際に利害関係者との協議と既存の研究を活用したと指摘した。
汎用AIと高リスクの重複
2023年、草案はChatGPTなどの生成AIシステムの台頭に対応するために改訂され、その汎用能力は主要な枠組みに適合しなかった。幅広いタスクを実行できる基盤モデルをカバーする、汎用AIの新しいカテゴリが追加された。OpenAI、Anthropic、Google DeepMindによって開発されたようなこれらのモデルは、オープンソースモデルに対する義務が軽減された透明性要件の対象となる。トレーニングに10^25回を超える浮動小数点演算を必要とし、システム的リスクをもたらす高影響モデルは、追加の評価と敵対的テストを受けなければならない。
汎用AIは自動的に高リスクではないが、高リスクアプリケーションでの使用は高リスク義務を引き起こす。例えば、医療診断ツールで使用される大規模言語モデルは、AI法の高リスク要件の対象となる。2025年7月10日に公開された汎用AI行動規範は、透明性、著作権、安全性とセキュリティに関する3つの主要な章を概説し、提供者が適合性を実証するのに役立つ。規範への参加は任意であるが、法律の義務を満たすための枠組みを提供する。
執行と罰則
AI法の執行は段階的に開始され、許容不能リスクアプリケーションの禁止は2025年2月から、高リスク義務は2026年8月から適用される。不遵守に対する罰則は重大で、禁止行為を含む違反の場合、最大3,500万ユーロまたは世界年間売上高の7％（いずれか高い方）に達する。その他の違反の場合、罰則は1,500万ユーロまたは売上高の3％に達する可能性がある。これらの罰金は一般データ保護規則（GDPR）の下での罰金に匹敵し、EUの強力な執行へのコミットメントを反映している。
加盟国と委員会の代表者で構成される欧州人工知能委員会は、執行の調整において重要な役割を果たす。法律の一貫した適用を確保するためにガイダンスと意見を発行する。各国の監督当局は、苦情の調査と罰則の賦課を担当する。この法律の域外適用範囲は、EUの利用者にAIシステムを提供する場合、米国やアジアなどのEU外の提供者も遵守しなければならないことを意味する。
イノベーションと産業への影響
AI法の高リスク要件は、AI産業に重大な影響を与える。医療、金融、公共サービス向けのAIシステムを開発する企業は、文書化、テスト、人間による監視などのコンプライアンス対策に投資する必要がある。これにより開発コストが増加する可能性があるが、AI技術への信頼を高める明確な規制枠組みも提供する。この法律は、イノベーションと保護のバランスを取ることを目的としており、そのリスクベースのアプローチは他の法域のモデルと見なされている。
Artificial intelligenceの研究者や開発者にとって、この法律はMachine learningやDeep learningなどの技術を責任ある方法で使用することを奨励している。また、透明性を促進し、バイアスや説明責任に関する懸念に対処するのに役立つ。データガバナンスとログ記録に関する法律の要件は、しばしば不透明であるNeural networkやTransformer (architecture)ベースのシステムに特に関連性が高い。人間による監視を義務付けることで、この法律は、AIシステムがより自律的になっても、人間の制御下に留まることを確実にしようとしている。
今後の展開
高リスク用途のリストは時間の経過とともに拡大でき、EUが新たなリスクに対応することを可能にする。この法律には、最小リスクシステムのための自主的な行動規範に関する規定も含まれており、ベストプラクティスを奨励している。AI技術が進化するにつれて、欧州委員会は法律の更新を提案する可能性があり、欧州人工知能委員会は引き続きガイダンスを提供する。この法律の成功は、効果的な執行と加盟国間の協力、およびAI規制に関する国際的な整合性に依存する。
要約すると、EU AI法の下での高リスクAIシステムは、世界で最も包括的な規制要件の一部の対象となっている。それらは、安全性、透明性、人間による監視に関する厳格な基準を満たし、市場参入前に適合性評価を受けなければならない。この法律は、イノベーションを促進しながら基本権を保護する方法でAIを規制するための主要な一歩を表している。その影響は世界的に感じられ、多くの企業がEU市場で事業を展開するためにその要件に適応する必要がある。