归纳偏置是机器学习算法为了从观测到的训练数据泛化到未见实例而做出的一组假设。在机器学习中，学习本质上是一个欠定问题：许多不同的函数都能拟合给定的有限示例集。归纳偏置缩小了可能假设的空间，优先选择某些假设而非其他，从而使算法能够对新输入产生预测。没有这种偏置，模型将没有原则性依据在无限多个一致函数中进行选择，使泛化变得不可能。
这一概念源于古典哲学和统计学，但在20世纪80年代于计算机科学中被形式化。该术语通过概念学习和决策树的研究而广受关注，研究者注意到每个学习器必须纳入先验假设才能超越记忆。在现代实践中，归纳偏置并非单一的显式规则，而是结构性选择的集合，包括神经网络的架构、损失函数的形式、优化过程以及所应用的正则化技术。
归纳偏置的类型
归纳偏置可按其来源分类。架构偏置源于模型的结构。例如，卷积神经网络（常用于图像任务）假设局部空间相关性和平移不变性，意味着在一个位置学到的特征在其他位置也有用。Transformer架构（用于许多大型语言模型）假设标记间的关系可通过注意力机制捕获，位置信息则单独编码。循环网络假设序列依赖性，而残差网络假设恒等映射是有用的基线，从而简化优化。
算法偏置来自学习过程本身。梯度下降，特别是SGD变体和Adam优化器等变体，隐式偏好更平滑的函数，因为更新趋向于在实践中泛化更好的局部最小值。权重初始化、批归一化和层归一化等技术引入了关于激活值规模和分布的假设。丢弃和数据增强施加了朝向鲁棒性的偏置，有效扩展了训练分布。
先验偏置是显式的，例如使用损失函数来惩罚复杂性（如L1或L2正则化）或课程学习，后者将训练示例从易到难排序，假设这种排序有助于收敛和泛化。
在泛化中的作用
归纳偏置的核心作用是实现泛化。在统计学习理论中，偏差-方差权衡描述了更强的假设（更高偏差）如何减少方差，但如果假设错误则可能增加误差。偏置过少的模型（如参数过多的深层网络）可能过拟合，记忆噪声。相反，偏置过多（如对非线性数据使用线性模型）则导致欠拟合。
深度学习中的实证研究表明，现代架构尽管参数远超训练示例，却往往能良好泛化。这一现象有时被称为“彩票假说”或“简单性偏置”，表明基于梯度的优化隐式偏好低复杂度函数。Aleksander Madry和Ali Rahimi等研究者研究了对抗样本，揭示归纳偏置可能脆弱：利用模型假设的小扰动可导致误分类，表明偏置与人类感知不一致。
历史发展
早期AI系统，如国际象棋计算机程序，依赖手工编码规则，这是一种极端归纳偏置。20世纪80年代向机器学习的转变，以Tom Mitchell等研究者的工作为代表（尽管不在给定列表中，但该概念与其著作相关），将归纳偏置形式化为任何学习算法的必要组成部分。Mitchell的定义常被引用，指出学习器的归纳偏置是结合训练数据决定其预测的假设集合。
在20世纪90年代和2000年代，支持向量机和核方法引入了基于间隔最大化和核函数的偏置。2012年后的深度学习复兴，由Graphcore等硬件推动，带来了U-Net（用于图像分割）和序列到序列模型（用于语言）等架构创新。多头注意力和位置编码在Transformer中的发展，由Jakob Uszkoreit及其在Google DeepMind的同事引入（尽管原始Transformer论文来自Google Brain），体现了架构偏置如何针对特定数据类型进行工程设计。
当代应用
在现代生成式AI中，归纳偏置至关重要。OpenAI和Anthropic等机构的大型语言模型使用数十亿参数的Transformer，却能泛化到多样任务。其偏置包括注意力机制假设相关上下文可出现在序列任意位置，以及训练目标（下一标记预测）施加了朝向连贯、局部一致文本的偏置。RLAIF（基于AI反馈的强化学习）和Top-k采样或Top-p采样等技术进一步塑造生成过程，引入随机性和多样性偏置。
在计算机视觉中，数据增强（如随机裁剪、旋转）编码了对变换的不变性，这是一种提高鲁棒性的偏置。在强化学习中，Waymo或Tesla Autopilot等智能体使用时间差分学习等归纳偏置，假设马尔可夫状态转移。
硬件也影响偏置。AWS Trainium或Groq等芯片针对特定操作优化，这可能偏好某些模型架构。例如，Graphcore的IPU专为稀疏和并行计算设计，可能偏向于利用稀疏性的模型。
局限性与争论
归纳偏置并非总是有益。如果假设与真实数据分布不匹配，性能会下降。例如，卷积网络假设平移不变性，但对某些尺度重要的医学图像则失效。无免费午餐定理（尽管不在给定列表中）指出没有算法普遍更优，意味着每种归纳偏置都有代价。
关于归纳偏置有多少是“学习到的”与“内置的”存在持续争论。元学习和课程学习试图从数据中学习偏置，但仍依赖更高层次的假设。Brendan Lake和Joshua Tenenbaum等研究者主张更多受认知科学启发的结构化归纳偏置，如因果推理和组合性，以实现类人泛化。其他人如Melanie Mitchell则强调AI系统需要显式表示并推理自身偏置。
在实践中，从业者通常通过超参数选择、架构搜索和正则化来调整归纳偏置。该领域仍活跃，模型剪枝和梯度裁剪等新方法影响优化的隐式偏置。随着模型规模扩大，理解和控制归纳偏置对于从医疗保健到自动驾驶等应用中的可靠性和安全性变得愈发重要。