参数化模型是一类统计和机器学习模型，其特点是具有固定且有限数量的参数。这意味着模型的复杂度在训练前就已确定，不会随训练数据量的变化而改变。参数从数据中学习得到，一旦训练完成，模型无需保留原始数据集即可进行预测。这与非参数化模型形成对比，后者的参数数量会随训练数据规模的增长而增加。
这一概念是机器学习的基础，其中参数化与非参数化方法的选择会影响模型的灵活性、计算需求和泛化能力。参数化模型假设特定的函数形式，如线性关系，这使得它们更易于训练和解释，但在处理复杂模式时可能灵活性不足。
历史背景
参数化与非参数化方法的区分源于经典统计学。早期统计学家如艾伦·珀利斯（虽以计算机科学闻名）及其他人的工作为基于模型的推断奠定了基础。20世纪60年代和70年代，计算统计学的兴起使线性回归和逻辑回归等参数化模型得到普及。到20世纪80年代，“参数化”一词成为教科书中的标准术语，克里斯托弗·毕晓普后来在模式识别方面的研究进一步巩固了其在机器学习中的应用。
类型与示例
常见的参数化模型包括线性回归、逻辑回归和线性判别分析。在深度学习中，许多架构是参数化的，例如具有固定权重和偏置数量的神经网络。例如，变换器模型根据其架构（如层大小、注意力头数）具有预定数量的参数。来自OpenAI和Anthropic等公司的大型语言模型是参数化的，在设计时参数数量固定为数十亿。
非参数化模型，如k近邻和决策树，没有固定的参数数量；它们会存储训练数据或随复杂度增长。然而，一些模型模糊了界限，如高斯过程，它本质上是非参数化的，但可以近似为参数化形式。
优点与缺点
参数化模型具有多项优势：它们计算效率高、内存占用少，且更易于解释。当假定的函数形式与真实数据分布匹配时，它们也能很好地泛化。然而，如果形式过于简单，它们可能欠拟合；若无法通过增加参数捕捉复杂模式，在数据有限的情况下可能导致过拟合。
在实践中，参数化模型通常更适用于小数据集或可解释性至关重要的场景，如医疗或金融应用。例如，直觉外科可能使用参数化模型进行风险评估，而Waymo可能采用更灵活的非参数化方法用于感知。
在现代人工智能中的作用
在现代人工智能中，参数化模型因深度学习的成功而占主导地位。固定的参数数量允许在专用硬件如AWS Trainium或Cerebras系统上进行高效训练。谷歌DeepMind和亚马逊网络服务等公司大规模部署参数化模型。模型大小与性能之间的权衡是一个关键研究领域，其中包含在不损失准确性的情况下压缩模型的努力。
然而，当数据丰富且模式复杂时，固定的参数数量可能成为限制。这促使了对自适应模型的研究，但参数化模型仍是大多数应用的标准选择。