算法偏差指的是算法系统产生的系统性且不公平的歧视，最常见的是机器学习模型，其预测或输出会使特定群体（按种族、性别、年龄或其他受保护特征划分）处于不利地位。由于此类系统从训练数据中学习统计模式，它们往往会再现，并可能放大数据中已存在的偏差，或问题框架、标签设定或评估方式所引入的偏差。算法偏差是人工智能伦理领域的核心关切，并推动了技术上的缓解研究及对已部署系统进行法律审查。
偏差来源
研究者通常区分几种不同的来源。历史偏差存在于数据本身，例如当过去的招聘决策反映歧视时，模型会学着去复制这种歧视。表征偏差则是在数据集中某些群体样本不足导致模型对其准确度下降时出现；这一现象是2018年乔伊·布奥拉姆维尼和蒂姆尼特·格布鲁进行的“性别阴影”审计的核心发现，该审计表明商业面部识别系统在肤色较深女性上的表现显著差于肤色较浅男性。测量偏差发生在模型训练目标所采用的代理指标（例如以逮捕率代表犯罪率）本身是对潜在概念的偏差测量。汇集偏差则是将单一模型统一应用于内部关系各异的不同群体时产生的。
高影响力案例
若干已记录的案例引发了公众和学术界的广泛讨论。美国法院使用的COMPAS再犯预测工具在2016年ProPublica年度调查，该调查发现该系统将黑人被告标记为未来风险的比例，相对实际再犯率，几乎是白人被告的两倍，尽管部分研究了此后对发现所依赖的公平性统计定义进行了辩论。2018年，亚马逊在发现其内部AI招聘工具惩罚含有“女性”一词的简历后终止了该项目，该模式即是从十年偏向男性的雇佣数据中学到的。面部识别审计，包括美国国家标准与技术研究院于2019年对其涉猎100多种系统的研究，不断显示在女性和肤色较深人群中的错误率更高，这促使多个美国城市禁止警方使用这一技术，部分供应商也暂停了向执法部门出售产品。
缓解与衡量
科技层面的应对措施包括针对公平性指标（如人口统计平衡或均等机会）审计模型、对训练数据进行再平衡或增强、并对模型输出进行后处理调整；此外，大量研究文献也已经表明不同公平性定义可能在数学上不相容，这意味着满足某一指标可能需要牺牲另一指标。工具通常与公平性审计协同使用，以帮助识别具体是哪些输入特征导致了差异。偏差问题已延伸到大语言模型时代，研究者已在文本和图像生成（包括文本到图像系统）中发现了刻板关联的现象。
治理回应
算法偏差已成为制定法规的屡屡理由，它明确出现在欧盟人工智能法案风险分层中，也体现在早前的美国提案如《算法责任法案》中。它仍是人工智能治理更广泛议题中获最多的诉讼和实证记录的伤害之一。