人工智能中的公平性是指人工智能系统应当公平对待个人和群体，避免基于种族、性别、年龄或社会经济地位等属性进行系统性歧视的原则。它既涵盖模型开发的技术过程，包括数据收集、算法设计和部署，也涵盖自动化决策对社会的更广泛影响。公平性是一个有争议的概念，存在多种数学定义和哲学解释，并已成为Machine learning研究和政策讨论中的核心关注点。
公平性并非单一、普遍认可的指标，而是一系列常常相互冲突的标准。研究人员和从业者根据应用场景、法律要求和伦理承诺来选择定义。该领域借鉴计算机科学、统计学、法律和社会科学，并与人工智能系统中的问责制、透明度和隐私问题相交织。
历史背景与兴起
对自动化系统偏见的关注早于现代人工智能，出现在早期的统计和决策支持工具中。然而，“公平性”一词在2010年代随着Deep learning模型在招聘、贷款和刑事司法等高影响领域的广泛部署而在Machine learning社区中受到重视。具有里程碑意义的研究，例如对商业风险评估工具中种族偏见的研究，引发了学术界和公众的关注。
2016年，Carnegie Mellon University等机构开始发表关于算法公平性的有影响力的论文，提出了人口均等和机会均等等形式化定义。BAIR (Berkeley AI Research)小组和Stanford AI Lab的研究人员为衡量和减轻偏见的基础工作做出了贡献。到2018年，包括Google DeepMind和OpenAI在内的主要科技公司成立了专门的伦理团队并发布了公平性指南，尽管其中一些努力后来被解散或重组。
定义公平性：关键标准
实践中使用多种公平性的形式化定义，每种都捕捉不同的直觉。人口均等要求模型的正面预测在不同群体间均匀分布，无论实际结果如何。机会均等要求假阳性率和假阴性率在不同群体间相等，确保错误不会系统性集中。校准要求预测概率在每个群体内与实际频率匹配。
这些标准在大多数现实场景中在数学上互不兼容，这一结果由Aleksander Madry等研究人员在2019年证明。例如，除非各群体的基础比率相同，否则模型无法同时实现完美校准和机会均等。这一不可能定理意味着公平性本质上是一种价值选择，而非纯粹的技术优化。
人工智能系统中偏见的来源
偏见可能在人工智能系统的多个生命周期阶段进入。数据偏见源于训练数据集对某些群体代表性不足或包含历史偏见，例如过去偏向某一人口群体的招聘决策。算法偏见可能源于模型架构或优化选择，即使数据平衡也可能出现。部署偏见发生在模型被用于与其训练环境不同的场景时，导致意外差异。
例如，基于互联网文本训练的Large language model可能会复现语料库中的刻板印象。Anthropic和OpenAI的研究人员记录了生成文本中的性别和种族偏见，促使采用诸如使用精选数据集进行微调和基于人类反馈的强化学习等缓解技术。在计算机视觉中，基于图像数据集训练的Neural network对肤色较深个体的准确性较低，这一问题由MIT CSAIL等研究强调。
缓解策略与工具
改善公平性的技术分为三类：预处理、处理中和后处理。预处理方法调整训练数据，例如重新加权样本或移除敏感属性。处理中方法修改学习算法，例如在损失函数中添加公平性约束或使用对抗训练来减少群体特定错误。后处理方法改变模型的输出，例如对不同群体应用不同的决策阈值。
多个开源库实现了这些方法，包括IBM的AI Fairness 360和Google的What-If Tool。这些工具允许从业者衡量不同影响和机会均等等指标，并试验缓解策略。然而，其有效性因领域而异，没有单一方法能在所有场景中保证公平性。
挑战与持续争论
一个主要挑战是许多应用中缺乏公平性的真实基准。例如，在预测性警务中，没有“真实”犯罪风险的客观衡量标准，这使得评估模型是偏见还是准确变得困难。同样，在信用评分中，历史贷款结果反映了过去的歧视，因此基于这些数据训练的模型即使满足统计公平性标准也可能延续不平等。
另一个争论涉及公平性与准确性之间的权衡。一些研究表明，强制执行公平性约束可能降低整体模型性能，而另一些研究则认为损失通常很小或可忽略。这种关系取决于数据集和所选的公平性指标，并且仍是一个活跃的研究领域。
最后，公平性与其他伦理原则（如透明度和问责制）相交织。一个在某一指标上公平的模型可能在决策过程中不透明，使受影响个体难以质疑结果。Melanie Mitchell和Brian Christian等研究人员主张采用更广泛的方法，考虑人工智能部署的社会背景，而非仅关注数学定义。
未来方向
随着人工智能系统更深入地融入日常生活，公平性可能仍将是一个关键研究领域。新兴工作探索生成模型中的公平性，例如生成图像或文本的Generative AI系统，以及强化学习中的公平性，其中顺序决策可能加剧偏见。计算机科学家、法律学者和社会科学家之间的跨学科合作正在扩大，欧盟和其他地区的监管框架开始要求对高风险人工智能应用进行公平性评估。
技术进步，例如更稳健的Data Augmentation和Model Pruning技术，也可能有助于更公平的模型。然而，许多专家警告说，公平性无法完全自动化；它需要持续的人类判断和机构监督。因此，该领域仍然是一个动态且充满争议的空间，反映了关于正义和技术的更广泛社会问题。