データ拡張は、既存のデータに変換や摂動を適用することで新しい訓練サンプルを生成する統計的手法である。機械学習においては、元のデータセットのわずかに変更された複数のコピーでモデルを訓練することで、過学習を減らし汎化性能を向上させるために広く用いられている。この手法は、データが乏しい、または不均衡な場合に特に価値があり、より大規模で多様なデータセットを模擬し、モデルの頑健性を高めることができる。
その一般的な統計的形態において、データ拡張は、潜在変数や欠損データ成分を導入することで不完全なデータからの最尤推定を可能にし、ベイズ解析における重要な応用を持つ手法である。機械学習の文脈では、この手法は画像分類から信号処理に至るまで様々な領域で標準的な実践となっており、追加の実世界データを収集することなくモデルの性能を向上させる能力によるものである。
歴史的背景と初期の用途
機械学習におけるデータ拡張のルーツは、1990年代半ばに畳み込みニューラルネットワーク（CNN）が大規模化し始めた頃に遡る。当時、これらのネットワークを効果的に訓練するための十分なデータが不足しており、特にデータセットの一部をテスト用に確保する必要があった。研究者らは、回転、平行移動、スケーリングなどのアフィン変換を既存のデータに適用して、元のデータと同じラベルを共有する新しい例を生成することを提案した。このアプローチは2003年に弾性変形によって補完され、より微妙で現実的な変動を導入した。2010年代までに、データ拡張はCNNの訓練で広く採用され、その性能を向上させ、プロファイリングなどの敵対的攻撃への対策としても機能した。
不均衡データのための合成オーバーサンプリング
従来の機械学習では、あるクラスが別のクラスよりも著しく少ないサンプル数である不均衡データセットが一般的な課題である。例えば、健常者を表す90サンプルと、特定の疾患を持つ個人を表す10サンプルだけを含む医療診断データセットを考えてみよう。このような場合、アルゴリズムは多数派クラスへのバイアスのため、少数派クラスを分類できないことが多い。
Synthetic Minority Over-sampling Technique（SMOTE）は、少数派クラスの合成サンプルを生成することでこの問題に対処する。SMOTEは、少数派クラスのサンプルをランダムに選択し、その最近傍を見つけ、これらの近傍を結ぶ線分に沿って新しいサンプルを作成する。例えば、多数派クラスに100サンプル、少数派クラスに10サンプルがある場合、SMOTEは少数派を例えば100サンプルに増やす合成少数派サンプルを生成でき、これによりデータセットのバランスを取ることができる。2000年代初頭に登場したこの手法は、モデルの性能を向上させ、表形式データのデータ拡張の要となっている。
画像のための手法
画像分類は、深層学習の台頭とともに、データ拡張の主要な受益者の一つである。この実践は多種多様な変換を含むように進化し、モデルがより良く汎化するのを助ける訓練データを豊かにしている。一般的なカテゴリには、幾何学的変換、色空間の調整、ノイズ注入が含まれる。
幾何学的変換
幾何学的変換は画像の空間的特性を変更し、異なる視点、向き、スケールを模擬する。手法には以下が含まれる：
- アフィン変換（回転、反射、平行移動、スケーリングを組み合わせたもの）
- 回転：画像を指定された角度だけ回転させ、モデルが様々な角度で物体を認識できるようにする。
- 反射：画像を水平または垂直に反射させ、向きの変動を導入する。
- 平行移動：画像を異なる方向にシフトさせ、位置不変性をモデルに教える。
- スケーリング：画像内の物体のサイズを調整する。
- せん断写像：画像を傾斜させ、異なる視野角を模擬する。
- クロッピング：画像の一部を除去し、特定の特徴に焦点を当てるか、より近い視野を模擬する。
- 弾性変形：画像を非線形に変形させるもので、2003年に提案され、手書き文字認識などのタスクで効果的である。
- 同一クラス内のモーフィング：同じクラスに属する2つの画像の間にモーフィング技術を適用して新しいサンプルを生成し、クラス内の多様性を高める。
色空間変換
色空間変換は画像の色特性を変更し、照明、彩度、コントラストの変動に対処する。これらには以下が含まれる：
- 明るさ調整：画像の明るさを変えて異なる照明条件を模擬する。
- コントラスト調整：コントラストを変更して、様々な明瞭度の下での認識を助ける。
- 彩度調整：彩度を変更して、多様な色の強度を持つ画像にモデルを備えさせる。
- カラージッター：明るさ、コントラスト、彩度、色相をランダムに調整して色の変動を導入するもので、CNNの頑健性を向上させる標準的な手法である。
ノイズ注入
画像にノイズを注入することで現実世界の不完全さを模擬し、モデルが無関係な変動を無視することを教える。一般的な手法には以下が含まれる：
- ガウシアンノイズ：センサーノイズや粒子を模擬するためにガウスノイズを追加する。
- ごま塩ノイズ：センサーのゴミやデッドピクセルを模擬するためにランダムな黒または白のピクセルを導入する。
これらの方法は分類器を現実世界の歪みに対して頑健にする基礎となり、1990年代から広く使用されている。
信号処理のためのデータ拡張
データ拡張は時系列や信号処理にも適用可能である。時系列の場合、残差ブートストラップやブロックブートストラップ法を用いて拡張シーケンスを生成でき、これは時間的データを扱うモデルの頑健性を向上させるのに役立つ。
生体信号
生体信号の領域では、データ拡張はその高次元性とデータの希少性から極めて重要である。ロボット制御や、障害者および健常者の両方における応用では、サンプル数が限られているため、被験者固有の分析に依存することが多い。しかし、合成データ生成はこれらのデータセットを大幅に拡張できる。
研究者らは、パーキンソン病の筋電図（EMG）などの信号の入手困難性を指摘している。Zaniniらは、生成的敵対ネットワーク（特に深層畳み込みGAN）を用いてスタイル変換を行い、パーキンソン病患者に対応する合成EMG信号を生成することを実証した。このアプローチは、生成的AI技術がデータ拡張を支援できることを示している。
同様に、脳電図（EEG）データでは、WangらはEEGベースの感情認識に深層畳み込みニューラルネットワークを用いることを検討し、データ拡張を適用すると感情認識の精度が向上することを結果が示した。
合成信号生成の一般的な方法は、実データの成分を再配置することを含む。Lotteは「類推に基づく人工試行生成」と呼ばれる方法を提案し、3つのデータ例x₁、x₂、x₃が基礎を提供し、類推により人工的な合成サンプルx_syntheticが構築される。これを行うには、x₁をx₂により類似させる変換を定義し、この変換をx₃に適用して合成サンプルを生成する。このアプローチは、データ不足が深刻な脳コンピュータインターフェース応用で使用されている。
2010年代には深層学習の台頭が見られ、ニューラルネットワークはデータを多く必要とするため、データ拡張の必要性が増幅された。SMOTEやGANベースの手法は、医用画像や生体信号などの専門領域における不均衡や不足に対処するためのツールキットに統合されている。
他の手法との関係
データ拡張は、ドロップアウトや重み減衰などの他の正則化形態と比較されることが多いが、モデルではなくデータを変更する点で異なる。これは、コンピュータビジョン（例えばImageNet）、自然言語処理、音声認識における深層学習モデルの成功の重要な構成要素である。
トランスフォーマーの分野では、データ拡張は通常あまり一般的ではない。なぜなら、これらのモデルは大規模なコーパスで訓練されるからであるが、それでもファインチューニングや少数ショット学習などの応用がある。
近年では、生成的敵対ネットワークを用いて現実的な画像を生成するなど、生成モデル自体がデータ拡張器として使用されているが、元の軽量な手法は計算コストが低いため人気が続いている。
限界と考慮事項
データ拡張は効果的であるが、変換はラベルを保持するように選択されるべきである。例えば、手書き数字の水平フリップは「6」を「9」に変える可能性があり、モデルを誤解させるかもしれない。したがって、ドメイン固有の拡張が重要である。異なるデータセットはしばしば異なる拡張戦略を必要とし、不適切な拡張を使用するとモデルの精度が低下する可能性がある。
画像分類では、研究の系統は手作りの変換から学習された拡張ポリシーへと拡張されており、例えば2019年にGoogleで開発されたAutoAugmentは、最適な拡張戦略を探索するものである。
さらに、様々な領域にわたって、データ拡張は常に保持されたテストセットで検証されるべきである。なぜなら、合成データは非現実的なバイアスを導入する可能性があるからである。それにもかかわらず、この手法は機械学習実践者の武器庫における基本的なツールとなっている。
医用画像から自動運転まで、幅広い分野での広範な使用を考えると、データ拡張は現代のAIにおける基盤である。Amazon Web Services、Azure、Google Cloudなどの主要なクラウドサービスプロバイダーによる採用により、標準アルゴリズムが自動機械学習パイプラインに統合され、ユーザーはカスタムコードを書くことなくこれらの技術の恩恵を受けることができる。
過学習を減らすこの手法の有効性は、限られたデータセットで訓練するモデルにとって不可欠であり、現実の分布に密接に模倣する合成データを作成する生成モデルの進歩により、新たな可能性を提供し続けるダイナミックな研究領域である。
要約すると、データ拡張は、データ不足、不均衡、過学習に対処する多用途で強力な方法であり、コンピュータビジョンから自然言語処理までの応用がある。