在机器学习和模式识别中，特征是被观测现象的单个可测量属性或特性。特征作为输入变量，供算法用于学习模式、进行预测或对数据进行分类。这一概念是人工智能和机器学习的基础，其中特征的质量和相关性直接影响模型性能。
特征可以是数值型、类别型或结构型。例如，在图像中，特征可能包括像素强度、边缘方向或纹理；在文本中，特征可以是词频或句子长度；在表格数据集中，特征则是表示年龄、收入或温度等属性的列。选择、转换和构建特征的过程通常称为特征工程，即使随着能够自动学习表示的深度学习和神经网络方法的兴起，它仍然是构建有效模型的关键步骤。
特征类型与表示
特征通常按其数据类型进行分类。数值特征是连续或离散的值，例如身高或计数。类别特征表示离散类别，如颜色或国家，通常需要编码为数值形式，例如独热编码或标签编码。序数特征具有自然顺序，如教育水平，而二元特征仅取两个值，如真或假。
在现代基于Transformer的系统中，特征通常表示为从数据中学习的高维向量或嵌入。这些嵌入捕获语义相似性，使模型能够泛化到未见过的输入。例如，在大型语言模型中，每个标记被映射到编码其含义和上下文的特征向量，从而使模型能够有效处理语言。
特征工程与选择
特征工程涉及从原始数据中创建新特征以提高模型准确性。技术包括缩放、归一化、分箱和多项式扩展。例如，批归一化和层归一化是在训练期间标准化特征分布的方法，可稳定并加速收敛。特征选择旨在通过仅保留最具信息量的特征来降低维度，这可以减少过拟合并降低计算成本。方法包括过滤法、包装法和嵌入法，例如使用模型剪枝来移除已训练网络中不太重要的特征。
历史上，特征工程是一项由领域专家手动完成的任务。在计算机视觉等领域，研究人员设计了手工特征，如SIFT或HOG。然而，随着深度学习的出现，像残差网络和U-Net这样的模型能够自动从原始像素中学习分层特征，减少了对手动工程的需求。这一转变在图像识别、语音处理和自然语言理解中取得最先进成果方面起到了关键作用。
在模型训练中的作用
在训练期间，特征与标签（在监督学习中）或无标签（在无监督学习中）一起输入模型。模型调整其内部参数以将特征映射到输出，最小化损失函数。像Adam优化器和SGD变体这样的优化算法基于特征梯度更新权重。特征的选择影响损失景观以及模型泛化到新数据的能力。
在序列到序列模型中，特征通过编码器-解码器架构处理，其中编码器从输入序列中提取特征，解码器生成输出。像位置编码这样的技术添加关于标记顺序的信息，而多头注意力和交叉注意力允许模型关注输入的相关部分。这些机制依赖于特征表示来捕获依赖关系和关联。
挑战与现代视角
一个挑战是维度灾难：随着特征数量的增长，数据变得稀疏，使得有效训练模型变得更加困难。正则化技术，如丢弃和梯度裁剪，通过防止过拟合来帮助缓解这一问题。另一个问题是特征泄漏，即特征无意中包含关于目标的信息，导致过于乐观的性能估计。
在当代AI研究中，手工特征和学习特征之间的区别已变得模糊。生成式AI模型，例如由OpenAI、Anthropic和Google DeepMind开发的模型，从大规模数据集中学习丰富的特征表示，从而实现文本生成和图像合成等能力。这些模型通常使用课程学习逐步将模型暴露于更复杂的特征，以提高训练稳定性。
尽管取得了进展，特征可解释性仍是一个活跃的研究领域。像梅兰妮·米切尔和布莱恩·克里斯蒂安这样的研究人员探索如何理解模型学习到的特征，这对信任和安全性至关重要。像RLAIF（基于AI反馈的强化学习）这样的工具将人类偏好纳入特征学习，使模型与期望行为对齐。
结论
特征是机器学习系统的构建块。无论是手动设计还是自动学习，它们决定了模型可以访问哪些信息以及它能多有效地解决任务。随着AI的持续发展，特征的概念仍然核心，适应于从医疗保健到自动驾驶等各行各业的新架构和应用。