目标函数，也称为损失函数、成本函数或效用函数，是定义学习过程目标的数学表达式。在机器学习中，目标函数量化了模型预测与期望结果之间的匹配程度，提供一个标量值，优化算法通过最小化或最大化该值来调整模型。目标函数的选择从根本上决定了模型学习的内容，影响其准确性、鲁棒性和泛化能力。
在监督学习中，目标函数通常衡量预测输出与真实标签之间的差异。对于回归任务，常见的选择包括均方误差（对较大误差惩罚更重）和平均绝对误差（对异常值更鲁棒）。对于分类任务，交叉熵损失被广泛使用，尤其是在神经网络模型中，因为它提供平滑的梯度，便于通过反向传播进行高效训练。这些函数通过梯度下降类优化器（如随机梯度下降或Adam）进行最小化，迭代调整模型参数以降低损失。
在深度学习中的作用
在深度学习中，目标函数已发展以应对大规模模型和多样化任务的复杂性。对于基于Transformer的架构，例如大型语言模型中使用的架构，训练通常采用下一个词元预测任务，结合交叉熵损失，使模型能够为序列中正确的下一个词分配高概率。这一目标函数，配合海量数据和计算资源，推动了自然语言理解与生成领域的重大突破。
强化学习引入了另一类目标函数，专注于最大化累积奖励。在此类设置中，目标通常是未来奖励的折扣总和，策略梯度等方法直接优化这一期望回报。相比之下，无监督学习的目标函数，如自编码器中的重建损失或自监督方法中的对比损失，旨在无需显式标签的情况下学习有用的数据表示。这些多样化的目标函数反映了现代AI研究中学习范式的广泛性。
历史发展
目标函数的早期工作可追溯至20世纪中叶，先驱如伯纳德·威德罗开发了自适应线性单元，用于模式分类中的均方误差最小化。1958年，弗兰克·罗森布拉特提出的感知机使用了基于误差的简单更新规则，但缺乏可微的目标函数。20世纪80年代，随着反向传播算法的普及，该领域取得了显著进展，因为反向传播要求多层网络具备可微的损失函数。施乐帕洛阿尔托研究中心和麻省理工学院计算机科学与人工智能实验室等机构的研究者为这些方法的正式化做出了贡献。
20世纪90年代和21世纪初，支持向量机兴起，其优化铰链损失以最大化分类间隔；同时，概率模型通过最大化似然进行学习。托马斯·迪特里希和迈克尔·乔丹在统计学习理论和概率图模型方面做出了奠基性贡献，深刻影响了目标函数的设计与分析。2012年后，深度学习的复兴，由斯坦福人工智能实验室和多伦多大学等机构的研究推动，进一步强调了精心选择目标函数对于在大规模任务（如图像识别和语音处理）中训练深度网络的重要性。
类型与变体
目标函数可根据其数学性质和应用场景进行分类。凸目标函数，如逻辑回归中的交叉熵损失，保证存在全局最小值，优化过程相对简单。非凸目标函数，常见于深度网络，可能存在多个局部最小值，但经验表明，梯度下降法通常能找到良好的解。正则化项，如L1或L2惩罚，常被添加到目标函数中，通过对大权重施加惩罚来防止过拟合。
对于生成模型，生成对抗网络中的对抗损失使生成器与判别器相互博弈，形成极小极大问题。变分自编码器则结合重建损失和KL散度项，以学习潜在表示。在生成式AI领域，这些目标函数使模型能够生成逼真的图像、音频和文本。OpenAI和谷歌DeepMind等公司为其大型模型开发了专有目标函数，通常将监督微调与基于人类反馈的对齐相结合，以优化输出与用户意图的一致性。
实际考量
设计有效的目标函数需要在多个因素之间取得平衡，包括任务性能、训练稳定性和计算效率。选择不当的目标函数可能导致梯度消失、模式崩溃或预测偏差。例如，在类别不平衡的分类问题中，普通的交叉熵损失可能偏向多数类，因此需要采用加权损失或焦点损失等变体。在神经网络训练中，学习率调度和损失缩放通常与目标函数一同调整，以确保收敛。
评估指标，如准确率、F1分数或BLEU，与目标函数不同，但常影响其设计。研究者可能使用代理目标函数，即非可微指标的可微近似。在强化学习中，奖励塑形可以引导智能体朝向期望行为，但设计不当的奖励可能导致意外策略。这些实际挑战凸显了在亚马逊云服务和微软Azure等平台部署的AI系统中，仔细设计目标函数的重要性。
未来方向
随着AI模型规模和能力的增长，目标函数正在演变，以纳入多任务学习、元学习和与人类价值观的对齐。多目标优化，即在准确性和公平性等竞争目标之间寻求平衡，是一个活跃的研究领域。Anthropic等实验室探索鼓励有益性和无害性的目标函数，通常使用基于人类偏好的损失。开发能够跨领域泛化的鲁棒目标函数仍然是一个关键挑战，伯克利AI研究和卡内基梅隆大学等学术团体为此做出了贡献。
新兴范式，如基础模型和自监督学习，依赖于从无标签数据中捕捉广泛模式的目标函数。对比学习通过拉近相似样本、推远不相似样本来学习有效表示，已在视觉和语言任务中展现出强大效果。未来的目标函数可能融入因果推理、不确定性量化和交互式学习，推动AI系统能力的边界。这些数学工具的持续完善将继续塑造人工智能研究和应用的轨迹。