欧盟《人工智能法案》（AI Act）于2024年8月1日生效，为人工智能建立了基于风险的监管框架。在其四个风险类别中，高风险人工智能系统是指那些预计会对健康、安全或基本权利构成重大威胁的系统。这些系统在该法规下面临最严格的义务，包括强制性合格评定、透明度要求、人工监督，以及在某些情况下，部署前需进行基本权利影响评估（FRIA）。该法案由欧盟委员会于2021年4月21日提出，于2024年3月13日通过欧洲议会审议，并于2024年5月21日获得欧盟理事会一致批准。其条款自生效之日起在6至36个月内逐步实施。
高风险分类适用于在关键领域使用的人工智能系统，如健康、教育、招聘、关键基础设施管理、执法和司法。这些系统必须在其整个生命周期（从设计到部署）内遵守质量、透明度和安全义务。高风险应用的清单可随时间扩展，而无需修订《人工智能法案》本身，从而使法规能够适应新兴风险。公民有权对高风险人工智能系统提出投诉，并有权获得此类系统作出的影响其权利的决定的解释。
定义与范围
《人工智能法案》将高风险人工智能系统定义为可能对个人或社会造成重大伤害的应用。分类基于系统的预期目的，而非其底层技术。例如，用于医疗诊断的人工智能系统属于高风险，而同一算法用于行政文件分类则可能属于最低风险。该法案涵盖多个领域的绝大多数人工智能系统，但军事、国家安全、研究及非专业用途除外。作为一种产品监管形式，它对提供者和部署者施加义务，而非针对个人。
高风险类别包括作为产品安全组件或本身即为产品的人工智能系统，这些产品受欧盟协调立法（如《医疗器械法规》或《机械法规》）约束。此外，特定领域的独立人工智能系统也属于高风险，包括生物识别、关键基础设施、教育和职业培训、就业和工人管理、基本服务、执法、移民和庇护以及司法行政。其范围广泛，反映了这些系统可能影响基本权利的潜力。
提供者和部署者的义务
高风险人工智能系统的提供者必须实施风险管理体系，在系统整个生命周期内识别并缓解风险。他们必须确保训练、验证和测试数据具有相关性、代表性且无偏见。在系统投放市场前必须编制技术文档，以证明符合该法案要求。必须内置日志记录功能，以实现系统操作的可追溯性。要求人工监督，即自然人必须能够解释系统的输出并在必要时进行干预。
高风险人工智能系统的部署者（即用户）也有自身义务。他们必须按照使用说明使用系统，确保输入数据具有相关性且充分具有代表性，并监控系统运行以发现风险迹象。他们还必须告知受影响个人正在与高风险系统交互，并在某些情况下，在部署前进行基本权利影响评估。该评估是一种事前审查，旨在识别和缓解对基本权利的潜在影响，其基础是早期关于算法影响评估的研究，这些研究建议此类工具应识别受影响社区、描述可能的危害，并为公众监督提供基础。
合格评定与市场监督
高风险人工智能系统在投放欧盟市场前，必须进行合格评定。该过程验证系统是否符合《人工智能法案》的要求。对于许多高风险系统，提供者可以自我评估，但对于用于生物识别或执法等领域的系统，必须涉及指定机构。评估包括对风险管理体系、数据治理、技术文档和人工监督措施的审查。通过后，系统获得CE标志，表明符合要求。
各成员国的市场监督机构在部署后监控合规情况。如果发现系统不合规，他们可以要求提供者采取纠正措施。该法案设立的欧洲人工智能委员会促进国家间合作，并确保整个欧盟范围内的一致执行。与《通用数据保护条例》类似，《人工智能法案》可对欧盟以外的提供者具有域外效力，只要他们在欧盟内有用户，这意味着非欧洲公司也必须遵守。
基本权利影响评估
对于在公共服务、执法和移民等特定领域使用的高风险人工智能系统，需要进行基本权利影响评估（FRIA）。FRIA必须在部署前进行，涉及对系统可能对基本权利（包括不歧视、隐私和数据保护）产生的影响进行详细分析。它必须描述系统的预期目的、受影响的个人类别以及对其权利的具体风险。必须概述缓解措施，并保持评估的最新状态。
FRIA是《人工智能法案》的一项关键创新，反映了算法影响评估的更广泛趋势。学者们认为，此类评估应识别受影响的个人和社区，描述可能的危害，并为公众和机构监督提供基础。《人工智能法案》的FRIA要求旨在确保高风险系统仅在仔细考虑其社会影响后才能部署。
高风险与其他风险类别
《人工智能法案》将人工智能应用分为四个级别：不可接受、高、有限和最低风险。不可接受风险的应用被完全禁止，包括操纵人类行为、在公共场所使用实时远程生物识别或实现社会评分的应用。高风险应用如前所述，受到严格义务约束。有限风险应用（如深度伪造）仅需履行透明度义务，要求告知用户他们正在与人工智能交互。最低风险应用（如视频游戏或垃圾邮件过滤器）不受监管，且由于最大协调规则，成员国不得施加额外限制。
这种基于风险的方案遵循产品安全模式，监管义务随潜在影响而增加。其目的是将监督重点放在可能产生重大风险的系统上，同时对不太敏感的使用采取更宽松的方法。一些法律学者认为，该法案将“可信赖的人工智能”定义为能够证明符合这些安全和风险阈值的系统。欧洲议会研究服务处指出，委员会的影响评估在比较政策选项时借鉴了利益相关者咨询和现有研究。
通用人工智能与高风险重叠
2023年，法案草案进行了修订，以应对生成式人工智能系统（如ChatGPT）的兴起，这些系统的通用能力不符合主要框架。新增了通用人工智能类别，涵盖能够执行广泛任务的基础模型。这些模型（如OpenAI、Anthropic和Google DeepMind开发的模型）需遵守透明度要求，开源模型的义务有所减少。构成系统性风险的高影响模型（训练所需浮点运算超过10^25次）必须进行额外评估和对抗性测试。
虽然通用人工智能不自动属于高风险，但其在高风险应用中的使用会触发高风险义务。例如，用于医疗诊断工具的大型语言模型将受《人工智能法案》高风险要求的约束。2025年7月10日发布的《通用人工智能实践准则》概述了关于透明度、版权以及安全与保障的三个主要章节，以帮助提供者证明合规性。参与该准则属自愿性质，但它为满足法案义务提供了框架。
执行与处罚
《人工智能法案》的执行逐步开始，对不可接受风险应用的禁令自2025年2月起适用，高风险义务自2026年8月起适用。违规处罚力度显著，对于涉及被禁止行为的违规，罚款最高可达3500万欧元或全球年营业额的7%（以较高者为准）。对于其他违规，罚款最高可达1500万欧元或营业额的3%。这些罚款与《通用数据保护条例》下的罚款相当，反映了欧盟对有力执行的承诺。
欧洲人工智能委员会由成员国和委员会代表组成，在协调执行方面发挥关键作用。它发布指导和意见，以确保法案的一致适用。国家监督机构负责调查投诉和施加处罚。该法案的域外效力意味着来自欧盟以外的提供者（如美国或亚洲的提供者）如果向欧盟用户提供人工智能系统，也必须遵守。
对创新和行业的影响
《人工智能法案》的高风险要求对人工智能行业具有重大影响。为医疗、金融或公共服务开发人工智能系统的公司必须投资于合规措施，包括文档、测试和人工监督。这可能会增加开发成本，但也提供了清晰的监管框架，可能增强对人工智能技术的信任。该法案旨在平衡创新与保护，其基于风险的方法被视为其他司法管辖区的典范。
对于Artificial intelligence研究人员和开发者，该法案鼓励以负责任的方式使用Machine learning和Deep learning等技术。它还促进透明度，有助于解决偏见和问责问题。法案对数据治理和日志记录的要求对通常不透明的Neural network和Transformer (architecture)基础系统尤为重要。通过强制人工监督，该法案旨在确保人工智能系统即使在变得更加自主时仍处于人类控制之下。
未来发展
高风险应用清单可随时间扩展，使欧盟能够应对新风险。该法案还包括针对最低风险系统的自愿行为准则条款，鼓励最佳实践。随着人工智能技术的发展，欧盟委员会可能会提出法案更新，欧洲人工智能委员会将继续提供指导。该法案的成功将取决于成员国之间的有效执行和合作，以及国际间在人工智能监管上的协调。
总之，欧盟《人工智能法案》下的高风险人工智能系统受到世界上最全面的监管要求约束。它们必须满足安全、透明度和人工监督的严格标准，并在进入市场前进行合格评定。该法案代表了在保护基本权利的同时促进创新方面监管人工智能的重大一步。其影响将是全球性的，因为许多公司需要适应其要求才能在欧盟市场运营。