損失関数

損失関数は、モデルの予測と実際の結果との差を数値化する数学的な式であり、機械学習における最適化を導く役割を果たします。訓練アルゴリズムが最小化すべきスカラー値の誤差信号を提供することで、学習を進めます。

損失関数（コスト関数または目的関数とも呼ばれる）は、モデルの予測出力と真の目標値との間の不一致を測定する数学的定式化である。機械学習において、これらの関数は、モデルが特定のデータ点またはバッチでどれだけうまく機能するかを定量化するスカラー誤差値を生成する。トレーニング中の最適化プロセスは、モデルのパラメータを反復的に調整してこの損失を最小化し、損失関数の選択は、学習ダイナミクスと最終的なモデルの挙動に直接影響を与える重要な設計上の決定となる。

損失関数の概念は、現代の深層学習より前に存在し、古典的な統計学と最適化理論にルーツを持つ。線形回帰における初期の研究は二乗誤差損失を採用し、ロジスティック回帰はクロスエントロピーに類似した目的関数を導入した。損失関数を学習アルゴリズムの中心的な構成要素として形式化することは、1980年代から1990年代にかけてのニューラルネットワークのバックプロパゲーションによるトレーニングの発展を通じて顕著になり、バーナード・ウィドローのような研究者が適応信号処理と誤差最小化技術に貢献した。

回帰損失

連続的な目標予測タスクにおいて、平均二乗誤差（MSE）は最も広く使用される損失関数の一つである。MSEは予測値と真の値の間の二乗差の平均を計算し、大きな誤差を不釣り合いに penalize する。その数学的な単純さと微分可能性により、多くの回帰問題でデフォルトの選択肢となっているが、外れ値に対する感度がノイズの多いデータセットでは問題となることがある。

平均絶対誤差（MAE）は、すべての誤差を線形に扱う代替手段を提供し、外れ値に対して頑健であるが、ゼロでの勾配が滑らかでない。Huber損失はMSEとMAEの両方の特性を組み合わせ、小さな誤差には二次的に、大きな誤差には線形的に振る舞い、デルタパラメータによって制御される。このハイブリッドアプローチは、頑健な回帰シナリオでしばしば好まれる。

分類損失

クロスエントロピー損失（ログ損失とも呼ばれる）は、分類タスクの標準的な目的関数である。二値分類では、予測された確率分布と真のラベルとの間の発散を測定する。この関数は、自信過剰な誤った予測を強く penalize し、モデルが適切に較正された確率を出力することを促す。多クラス設定では、カテゴリカルクロスエントロピーがこれを複数のカテゴリに拡張し、最終層のソフトマックス活性化と組み合わせられることが多い。

サポートベクターマシンのために開発されたヒンジ損失は、決定境界の距離を最大化することに焦点を当てたマージンベースの代替手段を提供する。クロスエントロピーとは異なり、ヒンジ損失は確率的出力を必要とせず、適切に分類された例に対して敏感でないため、特定の設定では計算効率が良い。二乗ヒンジ損失のような変種は、より滑らかな最適化のためにペナルティ構造を変更する。

対照的およびランキング損失

対照的損失関数は、顔認証やチェスコンピュータの位置評価などの類似性学習を含むタスクのために設計されている。これらの損失は、サンプルのペアまたはトリプレットに対して動作し、類似したアイテムを引き寄せ、異なるアイテムを押し離す。顔認識研究で普及したトリプレット損失は、アンカー、ポジティブサンプル、ネガティブサンプルを使用し、埋め込み空間内の相対距離を最適化する。

ランキング損失はこの概念を順序付きリストに拡張し、情報検索やレコメンデーションシステムで一般的に使用される。ペアワイズランキング損失は、ポジティブとネガティブなアイテムの相対的な順序を比較し、LambdaRankのようなリストワイズアプローチはランキングリスト全体を最適化する。これらの関数は、アマゾンウェブサービスの製品検索やその他の大規模な検索システムで特に重要である。

カスタムおよびタスク固有の損失

多くの領域では、特定の目的に合わせた特注の損失関数が必要とされる。生成AIでは、生成的敵対ネットワークからの敵対的損失が、生成器と識別器を対立させ、ミニマックス最適化問題を生み出す。画像生成のために導入された知覚損失は、生のピクセルではなく、事前学習されたネットワークからの高レベルの特徴表現を比較し、より視覚的に魅力的な結果を生み出す。

大規模言語モデルのトレーニングでは、次トークン予測が通常、語彙分布に対するクロスエントロピー損失を使用する。しかし、人間のフィードバックからの強化学習は、モデルの出力を人間の判断に合わせる選好ベースの損失を導入する。オープンAIやアンソロピックのような企業は、有用性と安全性のためにモデルを微調整するこれらの目的関数の変種を採用している。

損失関数の特性と選択

損失関数の理論的特性は、その実用的な有効性に影響を与える。凸性は最適化における大域的最適性を保証するが、現代の深層ネットワークは非凸の景観で動作する。微分可能性は勾配ベースの方法に必要であり、ヒンジ損失のような非滑らかな関数には劣勾配アプローチが使用される。一貫性の特性は、代理損失を最小化することが分類における最適なベイズ誤差を達成するかどうかに関連する。

損失関数の選択は、タスクの特性、データ分布、モデルアーキテクチャに依存する。不均衡なデータセットでは、重み付き変種や、簡単な例の重みを下げる焦点損失がパフォーマンスを向上させることができる。マルチタスク学習では、組み合わせた損失が競合する目的のバランスを取るために慎重な重み付けを必要とする。実践者はしばしば複数の損失関数を試すが、その選択は収束速度と最終的な精度に大きく影響を与える可能性がある。

最適化と損失景観

損失関数と最適化アルゴリズムの間の相互作用は、損失景観を形成する。マイケル・ジョーダンとその同僚は、異なる損失が勾配ダイナミクスと一般化にどのように影響するかを研究してきた。損失関数の曲率は、学習率の選択とAdamのような適応的最適化器の有効性に影響を与える。より良い一般化と関連付けられることが多い平坦な最小値は、シャープネス認識最小化のような損失の変更を通じて促進されることがある。

正則化項は、過学習を防ぐために損失関数に頻繁に追加される。L1およびL2正則化は大きな重みを penalize し、ドロップアウトは確率的正則化器として機能する。これらの追加は効果的な損失景観を変更し、トレーニング誤差とモデルの複雑さの間のトレードオフを行う。