CutMixは、画像分類タスクにおけるニューラルネットワークの訓練のためのデータ拡張手法である。これは、画像パッチの切り取りと貼り付けを、mixupで導入されたラベル合成戦略と組み合わせたものである。各訓練イテレーションでは、一方の訓練画像から長方形のパッチを切り取り、もう一方の画像に貼り付け、訓練ラベルは、貼り付けられたパッチの面積に比例する重みで、元の2つのラベルの重み付き組み合わせに調整される。このアプローチにより、モデルが偽の相関や部分的な特徴に頼るのではなく、物体全体に焦点を当てるよう促され、分類精度、破損に対する頑健性、および位置特定性能の向上が示されている。
この手法は、Clova AIとNAVER Corporationに所属するSangdoo Yun、Dongyoon Han、Seong Joon Oh、Sanghyuk Chun、Junsuk Choe、およびYoungjoon Yooによる2019年の論文で紹介された。この論文は「CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features」と題され、2019年のIEEE/CVF国際コンピュータビジョン会議（ICCV）で発表された。導入以来、CutMixは多くの最先端ビジョンモデルの訓練パイプラインにおける標準的な構成要素となり、他の拡張手法と併用されることが多い。
メカニズム
CutMix操作は以下のように機能する。2つの訓練サンプル\(x_A\)と\(x_B\)、およびワンホットラベル\(y_A\)と\(y_B\)が与えられた場合、アルゴリズムはまず、各画像からどのピクセルを取得するかを示すバイナリマスク\(M\)をサンプリングする。マスクは、バウンディングボックスの座標\((r_x, r_y, r_w, r_h)\)を一様ランダムに選択し、ボックス面積比\(\lambda\)をベータ分布（通常、パラメータ\(\alpha = 1\)）からサンプリングすることで生成される。新しい訓練サンプルは、画像Aのボックス外の領域と画像Bのボックス内の領域を取得して形成される。合成サンプルのラベルは\(\tilde{y} = \lambda y_A + (1 - \lambda) y_B\)として計算され、ここで\(\lambda\)は画像Aから保持されるピクセルの割合である。
このプロセスは訓練中にオンザフライで適用され、各ミニバッチがランダムに拡張されることを意味する。マスクはバッチ内の各サンプルに対して独立に生成され、多様な混合画像のセットが生み出される。切り取り位置とサイズは一様ランダムであり、モデルが多種多様な部分的な遮蔽と組み合わせを見ることを保証する。
他の拡張手法との関係
CutMixは、以前の拡張戦略に基づいている。最も直接的な前身はmixupであり、Hongyi Zhang、Moustapha Cisse、Yann N. Dauphin、およびDavid Lopez-Pazによって2018年に導入され、ピクセル値とラベルの凸結合を取ることで画像全体を混合する。Mixupは訓練サンプル間の線形な振る舞いを促進するが、人間が解釈するのが難しい不自然な画像を生成することがある。対照的に、CutMixは各領域内の画像の自然な外観を維持し、拡張サンプルをより意味的に一貫したものにする。
もう一つの関連手法はCutoutであり、Terrance DeVriesとGraham W. Taylorによって2017年に提案され、画像の長方形領域をランダムにマスクしてゼロに設定する。Cutoutはピクセルレベルのドロップアウトの一種として機能し、モデルにあまり目立たない特徴に依存させることを強制する。CutMixは、ゼロで埋められた領域を別の画像からのパッチに置き換える一般化と見なすことができ、合成ラベルを通じて追加の教師信号を提供する。
CutMixの著者らは、CIFAR-10、CIFAR-100、およびImageNetを含むいくつかのベンチマークデータセットにおいて、mixupとCutoutの両方を上回ることを実証した。また、CutMixがモデルの物体位置特定能力を向上させることも示しており、これはポインティングゲーム指標で測定され、モデルが混合画像を正しく分類するために物体全体に注意を向ける必要があるためである。
実装の詳細
実際には、CutMixは単純な変換として実装され、任意の画像分類訓練ループに追加できる。バッチ内の画像のペアごとに、アルゴリズムは次の操作を行う：
- ベータ分布から混合比\(\lambda\)をサンプリングする。
- \(\lambda\)に基づいてバウンディングボックスの座標を計算する。
- 画像Bのパッチを画像Aにコピーして合成画像を作成する。
- 合成ラベルを重み付き和として計算する。
計算オーバーヘッドは最小限であり、操作は配列のスライシングと代入のみを含む。これにより、PyTorchやTensorFlowなどの既存のフレームワークへの統合が容易になる。多くのオープンソース実装が存在し、この手法はランダムクロップ、フリップ、カラージッターなどの他の拡張と組み合わせられることが多い。
実用的な考慮事項の1つは、ベータ分布のパラメータ\(\alpha\)が拡張の強度を制御することである。\(\alpha = 1\)の場合、分布は一様であり、すべての混合比が等しく発生する。\(\alpha\)の値が小さい場合（例えば0.2）、一方の画像が支配するより極端な混合が生成され、値が大きい場合、よりバランスの取れた混合が生成される。元の論文では、\(\alpha = 1\)がデータセット全体でうまく機能することが分かったが、いくつかの後続研究では特定のタスクに対してこのパラメータを調整している。
応用と拡張
CutMixは画像分類を超えて適用されている。物体検出、セマンティックセグメンテーション、さらには視覚タスクのためのトランスフォーマーの訓練にも使用されている。パッチ混合のアイデアは、音声やテキストなどの他のモダリティにも拡張されており、ただし、それらのデータの離散的な性質に合わせた適応が行われている。
いくつかの変種が提案されている。例えば、2020年に導入されたPuzzle Mixは、より洗練された最適化を使用して、物体の境界を保存し、顕著な部分を切断することを避ける混合マスクを見つける。もう一つの変種であるFMixは、フーリエ領域のマスクを使用して不規則な混合パターンを作成する。2021年に提案されたCo-Mixupは、このアイデアを複数の画像に拡張し、混合サンプル間の多様性を促進する。
Data Augmentationの文脈において、CutMixはDropoutやBatch Normalizationなどの他の手法と組み合わせて使用されることが多い。限られたデータで大規模モデルを訓練する際に特に効果的であることが示されており、過学習を低減する正則化の一種として機能する。
モデルの堅牢性への影響
CutMixの主な利点の一つは、入力の破損や敵対的摂動に対する堅牢性の向上である。他のクラスのパッチを含む画像で訓練することにより、モデルはより広範な特徴セットに依存することを学習する。これにより、実世界のシナリオには存在しない可能性のある背景の手がかりやテクスチャパターンへの過学習の傾向が低減される。
研究によると、CutMixで訓練されたモデルは、標準的な拡張やmixupのみで訓練されたモデルと比較して、ImageNet-Cなどの破損版ImageNetで高い精度を達成する。この手法はまた、キャリブレーションも改善し、モデルの予測確率が実際の精度とより一致するようになる。
さらに、CutMixは、クラス間の微妙な違いが重要となる細粒度分類タスクにおけるモデルの性能を向上させることが示されている。混合画像により、モデルは全体的な統計に依存するのではなく、識別的な部分に注意を向けるようになる。
産業界での採用
CutMixは学術研究と産業界の両方で広く採用されている。画像モデル用のtimmライブラリやNVIDIA DALIデータローディングライブラリなど、人気のある深層学習ライブラリやフレームワークに含まれている。ImageNetチャレンジや他のコンペティションにおける多くの最先端モデルが、訓練レシピの一部としてCutMixを使用している。
Google DeepMind、OpenAI、Anthropicなどの企業は、コンピュータビジョンパイプラインにCutMixを組み込んでいるが、具体的な詳細は多くの場合独自仕様である。この手法は、データが乏しく拡張が重要となる医用画像処理でも使用されている。例えば、CutMixは胸部X線分類や病理組織画像解析に適用され、一般化の改善を示している。
限界と考慮事項
その有効性にもかかわらず、CutMixにはいくつかの限界がある。ランダムな切り貼りは、特にパッチが意味的に一貫性のない場所に配置された場合、非現実的な画像を作り出すことがある。例えば、鳥の画像に車のパッチを貼り付けると、そのパッチが鳥の重要な部分を覆う場合にモデルを混乱させる可能性がある。しかし、混合ラベルはソフトターゲットを提供することでこれを緩和する。
もう一つの考慮点は、CutMixが入力がピクセルのグリッドであることを前提としていることであり、これはグラフや点群などの他のデータ型には直接適用できない。これらのモダリティに対しては拡張が提案されているが、より複雑なマスキング戦略が必要である。
最後に、ベータ分布のパラメータの選択が性能に影響を与える可能性がある。\(\alpha = 1\)は良いデフォルトであるが、一部のタスクではチューニングが有益な場合がある。元の論文はこれに関する指針を提供しているが、依然として経験的な選択である。
結論
CutMixは、現代のコンピュータビジョンにおいて定番となった、シンプルかつ強力なデータ拡張手法である。mixupとCutoutの強みを組み合わせることで、モデルを正則化し、堅牢性と局在化能力を向上させる方法を提供する。実装の容易さとベンチマークでの一貫した改善により、多くの実務者にとってデフォルトの選択肢となっている。研究が進むにつれて、CutMixの変種や拡張は、特にデータが限られている領域や困難な条件下で、引き続き関連性を保つ可能性が高い。
参考文献
- Yun, S., Han, D., Oh, S. J., Chun, S., Choe, J., & Yoo, Y. (2019). CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features. ICCV.
- Zhang, H., Cisse, M., Dauphin, Y. N., & Lopez-Paz, D. (2018). mixup: Beyond Empirical Risk Minimization. ICLR.
- DeVries, T., & Taylor, G. W. (2017). Improved Regularization of Convolutional Neural Networks with Cutout. arXiv.
- Kim, J.-H., Choo, W., & Song, H. O. (2020). Puzzle Mix: Exploiting Saliency and Local Statistics for Optimal Mixup. ICML.
- Harris, E., Marcu, A., Painter, M., Niranjan, M., Prügel-Bennett, A., & Hare, J. (2020). FMix: Enhancing Mixed Sample Data Augmentation. arXiv.