数据增强是一种统计技术，通过对现有数据施加变换或扰动来生成新的训练样本。在机器学习中，它被广泛用于减少过拟合并提升泛化能力，方法是在原始数据集的多个轻微修改副本上训练模型。当数据稀缺或不平衡时，这种方法尤为有价值，因为它能模拟更大且更多样化的数据集，并增强模型的鲁棒性。
在其一般统计形式中，数据增强允许通过引入潜变量或缺失数据成分，从不完整数据中进行极大似然估计，这一方法在贝叶斯分析中有重要应用。在机器学习的背景下，该技术已成为跨多个领域的标准实践，从图像分类到信号处理，因为它能提升模型性能而无需收集额外的现实世界数据。
历史背景和早期应用
机器学习中数据增强的根源可追溯至1990年代中期，当时卷积神经网络（CNN）开始变得更大。那时，缺乏足够的数据来有效训练这些网络，尤其是因为数据集中一部分必须预留用于测试。研究人员提出对现有数据施加仿射变换（如旋转、平移和缩放）以创建与原始数据共享相同标签的新样本。这种方法在2003年通过弹性畸变得以补充，引入了更细微和逼真的变化。到2010年代，数据增强被广泛用于训练CNN，提升了它们的性能，并作为对抗性攻击（如侧信道分析）的对抗措施。
针对不平衡数据的合成过采样
在传统机器学习中，一个常见挑战是不平衡数据集，即一个类别的样本数量显著少于另一个类别。例如，考虑一个医学诊断数据集，其中90个样本代表健康个体，仅10个样本代表患有特定疾病的个体。在这种情况下，算法往往因偏向多数类而无法对少数类进行分类。
合成少数类过采样技术（SMOTE）通过为少数类生成合成样本来解决此问题。SMOTE的工作原理是随机选择一个少数类样本，找到其最近邻居，并沿着连接这些邻居的线段创建新样本。例如，如果多数类有100个样本而少数类有10个样本，SMOTE可生成合成少数样本，将少数类增加到例如100个样本，从而平衡数据集。这项技术出现于2000年代初，由此提升模型性能，并成为表格数据数据增强的基石。
图像技术
图像分类是数据增强的主要受益者之一，尤其是在深度学习兴起之后。该实践已发展出多种变换，丰富了训练数据以帮助模型更好地泛化。常见类别包括几何变换、色彩空间调整和噪声注入。
几何变换
几何变换改变图像的空间属性，模拟不同的视角、方向和尺度。技术包括：
- 仿射变换（结合旋转、反射、平移和缩放）
- 旋转：按指定角度旋转图像，帮助模型识别不同角度的物体。
- 反射：水平或垂直反射图像，引入方向变异性。
- 平移：在不同方向移动图像，以教导模型位置不变性。
- 缩放：调整图像中物体的大小。
- 剪切映射：倾斜图像以模拟不同观察角度。
- 裁剪：移除图像部分以聚焦特定特征或模拟更近视图。
- 弹性畸变：以非线性方式变形图像，这在2003年提出，在手写识别等任务中有效。
- 同类内变形：通过对属于同一类的两个图像应用变形技术来生成新样本，从而增加类内多样性。
色彩空间变换
色彩空间变换修改图像的颜色属性，处理光照、饱和度和对比度的变化。这些包括：
- 亮度调整：改变图像亮度以应对光照变化。
- 对比度调整：改变对比度以处理不同条件的图像。
- 饱和度调整：调整饱和度，使模型适应不同颜色强度。
- 颜色抖动：调整亮度、对比度、饱和度和色调，以引入颜色变异性。
噪声注入
向图像中注入噪声模拟传感器瑕疵，训练模型忽略现实世界的不完美之处。技术包括：
- 高斯噪声：添加高斯噪声以模拟传感器噪声。
- 椒盐噪声：引入随机黑白像素，模拟死像素或传输错误。
这些方法使模型对现实世界的失真具有鲁棒性，并已在图像处理中广泛使用。
信号处理中的数据增强
数据增强也适用于时间序列和信号处理。对于时间序列，可以使用残差或分块自助法生成合成样本，提高模型对时间数据的鲁棒性。
在生物信号领域，由于数据的高维性和稀缺性，数据增强尤为重要。例如，对于帕金森病的肌电图（EMG）信号，Zanini等人展示了使用深度卷积生成对抗网络生成合成EMG信号的方法。类似地，在脑电图（EEG）分析中，深度CNN已被用于提高情感识别准确性。
一种常见的合成信号生成方法涉及重新排列真实数据。Lotte提出的“基于类比的人工合成试次生成”方法，通过定义变换将样本x₁变为x₂，然后将此变换应用于x₃以生成合成样本。这种方法已用于数据严重稀缺的脑机接口应用。
2010年代，深度学习的发展增加了对数据的需求，SMOTE等技术已被整合到处理医学成像和生物信号等稀缺数据领域的工具中。
与其他方法的关系
数据增强常与dropout等其他正则化技术进行比较，但它通过修改数据而非模型来实现正则化。它是深度学习模型在计算机视觉（如ImageNet）、自然语言处理和语音识别中成功的关键组成部分。
在Transformer模型中，数据增强通常较少使用，因为这些模型在大型语料库上训练，但在微调和少样本学习中仍有应用。
近年来，生成模型本身已被用作数据增强工具，例如使用生成对抗网络生成逼真图像，但原始技术因其低计算成本而仍然流行。
局限性与考虑
数据增强中的变换应保持标签不变。例如，水平翻转手写数字可能将“6”变成“9”，从而误导模型。领域特定的增强策略是必需的，通用方法可能导致性能下降。
AutoAugment等技术已被用于自动搜索最优增强策略，但手工设计的增强方法仍被广泛使用，因其简单高效。
概念与应用
数据增强是机器学习中的一项基本技术，应用于计算机视觉、语音识别和自然语言处理等领域。它通过在原始数据上应用各种变换，增加了数据多样性，提升了模型泛化能力。其主要优势包括减少过拟合、增强鲁棒性，并在数据稀缺或类别不平衡时提供额外训练数据。数据增强通常包括几何变换（如旋转、平移、缩放）、颜色调整、噪声注入和生成模型等技术。
随着深度学习的发展，数据增强在提高模型性能方面变得不可或缺。它帮助模型学习不变性，并降低对特定数据分布的过拟合风险。主要应用领域包括图像分类、语音识别和医疗诊断等。