欧盟《人工智能法案》（AI法案）为人工智能建立了全面的法律框架，其中专门针对高风险人工智能系统设立了一个层级。这些系统对健康、安全或基本权利构成重大风险，在投放欧盟市场前须遵守一系列严格义务。该法规旨在促进可信赖的人工智能，同时确保创新，在人工智能的益处与对公民的有力保障之间取得平衡。
根据《AI法案》，高风险分类涵盖两大类别：作为已受欧盟部门立法（如医疗器械、玩具和机械）监管产品的安全组件的人工智能系统，以及附件三中列出的独立人工智能系统，包括用于关键基础设施、教育、就业、执法、移民以及信用评分等基本私人服务的系统。相关义务适用于提供者（开发者），在某些情况下也适用于部署者（使用者），并采用分阶段实施的时间表。
范围与分类标准
《AI法案》根据人工智能系统的预期用途及其运行领域来定义高风险系统。对于已受现有欧盟法律（如《医疗器械法规》或《机械指令》）监管的产品，若人工智能系统是安全组件，则自动被视为高风险。对于独立系统，分类取决于该系统是否属于附件三所列的八个领域之一，例如生物识别、关键基础设施管理、教育和职业培训、就业和员工管理、基本服务获取、执法、移民和边境管控以及司法管理。
欧盟委员会有权通过授权法案更新附件三，根据风险证据添加或删除特定用例。这种动态方法使法规能够适应技术发展，包括机器学习和深度学习模型的进步。然而，该法案包含一个狭窄的例外：如果附件三所列系统不会对健康、安全或基本权利构成重大伤害风险，提供者可以主张不予分类，但须接受国家主管部门的审查。
提供者的义务
高风险人工智能系统的提供者必须实施质量管理体系，确保系统在整个生命周期内符合要求。主要义务包括建立风险管理体系，以识别、评估和缓解可预见的风险，包括滥用和对弱势群体可能造成的伤害。该过程必须是迭代的，持续监控和更新风险评估。
数据治理是另一项关键要求。训练、验证和测试数据集必须相关、具有代表性，且不含有可能导致歧视性结果的偏见。提供者必须记录数据来源，确保适当的数据清理和准备，并考虑预期用途的具体背景。对于涉及神经网络架构的系统，这意味着要进行严格的验证，以避免过拟合或对某些人群的代表性不足。
技术文档必须在系统投放市场前编制完成，包含系统目的、设计、开发过程和性能指标的详细信息。该文档必须保持最新，并在国家主管部门要求时提供。此外，提供者必须实施自动日志记录功能，以实现系统操作的可追溯性，特别是对于持续从现实世界数据中学习的系统。
合格评定与注册
高风险人工智能系统在投放欧盟市场前，必须经过合格评定程序。对于大多数系统，这涉及基于提供者自身质量管理体系和技术文档的内部评估。然而，对于某些类别（如生物识别系统），则要求由公告机构进行第三方评估。评估验证是否符合法案规定的义务，包括风险管理、数据治理和透明度。
一旦确认合格，提供者必须起草欧盟符合性声明并加贴CE标志。然后，系统必须在欧盟委员会维护的欧盟范围内数据库中注册。该注册包括提供者信息、系统预期用途以及技术文档链接。对于大多数高风险系统，该数据库可公开访问，但执法和移民应用则限制访问以保护安全利益。
透明度与人类监督
高风险人工智能系统的设计必须允许有效的人类监督。这意味着自然人必须能够理解系统的输出、干预其运行，并在必要时推翻或撤销决策。监督水平应与风险和系统自主性相称。例如，用于就业筛选的系统必须允许人类招聘人员审查和质疑自动化决策。
透明度义务还要求，除非从上下文中显而易见，否则必须告知用户他们正在与高风险人工智能系统交互。对于生成合成内容（如深度伪造）的系统，提供者必须确保输出以机器可读格式标记，以表明其人工来源。这对于能够生成逼真图像、音频或文本的生成式人工智能模型尤为重要。
部署者的责任
部署者（即高风险人工智能系统的使用者）也有自己的一套义务。他们必须按照制造商提供的使用说明使用系统，包括尊重预期用途和限制。部署者还必须确保输入数据相关且无偏见，并监控系统是否有漂移或性能退化的迹象。
在就业环境中，部署者必须告知员工他们受到高风险人工智能系统的约束，并提供有关系统逻辑和潜在影响的清晰信息。对于影响个人权利的决策系统（如信用评分或保险），部署者必须进行基本权利影响评估，特别是当系统处理敏感数据或涉及弱势群体时。
部署者还负责维护系统生成的自动日志，并按法规规定的期限（通常为六个月）保留，除非部门法律另有要求。他们必须与国家主管部门合作，并报告可能导致伤害的任何严重事件或故障。
治理与执法
《AI法案》的执法由国家主管部门和欧盟委员会共同承担。每个成员国必须指定至少一个通知机构和市场监督机构。欧盟委员会将设立欧洲人工智能委员会，以促进整个欧盟的一致应用，并就技术和伦理问题提供建议。
违规处罚力度显著。对于与禁止行为相关的违规，罚款最高可达3500万欧元或公司全球年营业额的7%，以较高者为准。对于不遵守高风险系统义务的行为，罚款最高可达1500万欧元或营业额的3%。向当局提供不正确信息的罚款较低。
时间表与过渡期
《AI法案》于2024年8月1日生效，采用分阶段实施时间表。对某些人工智能实践（如社会评分和操纵性技术）的禁令于2025年2月2日开始适用。高风险系统的义务根据系统类别分阶段实施：嵌入受监管产品的系统过渡期较长，全面适用至2027年8月2日。附件三中列出的独立高风险系统必须在2026年8月2日前合规，但已投放市场的系统存在某些例外。
通用人工智能模型的提供者，包括大型语言模型系统，须承担额外的透明度义务，自2025年8月2日起适用。这些义务包括发布训练数据摘要并确保遵守版权法。该法案还建立了监管沙盒框架，允许创新公司在全面合规前在监督条件下测试高风险系统。
对行业与创新的影响
《AI法案》的高风险条款对科技公司具有重大影响，特别是那些为受监管行业开发机器学习系统的公司。像OpenAI、Anthropic和Google DeepMind这样的公司必须调整其开发流程，以满足文档和风险管理标准。对于硬件提供商（如AMD、Intel和NVIDIA，尽管法案未明确点名），该法规间接影响人工智能加速器的设计方式，因为它们必须支持日志记录和可追溯性功能。
中小型企业可能在满足合规负担方面面临挑战，但该法案包含支持措施，如降低合格评定费用和提供测试设施访问权限。该法规还鼓励制定行为准则和标准，这有助于协调整个欧盟的合规实践。
总体而言，欧盟《AI法案》代表了监管高风险人工智能系统的开创性努力，为全球人工智能治理树立了基准。其成功将取决于有效实施、国际合作以及在安全与创新之间取得平衡的能力。随着人工智能领域的持续发展，该法案基于风险的方法可能为其他司法管辖区应对先进人工智能技术带来的社会挑战提供范本。