コスト考慮型機械学習は、機械学習におけるアプローチの一つであり、予測誤差に伴う金銭的、社会的、または運用上のコストを明示的に考慮するものである。通常、誤り率を最小化する標準的な分類手法とは異なり、コスト考慮型手法は異なる種類の誤り（例えば、偽陽性と偽陰性）に異なるペナルティを割り当て、総期待コストを削減するようにモデルを最適化する。これは、医療診断、不正検出、信用スコアリングなど、誤りの結果が非対称である領域において特に重要である。
この分野は意思決定理論と統計的学習から生まれ、1980年代から1990年代にかけてクリス・ビショップやマイケル・ジョーダンなどの研究者による初期の研究があり、彼らはコスト考慮型損失関数を形式化した。現代の応用は人工知能システムに及び、深層学習モデルを含み、そこではコスト考慮型トレーニングを損失関数やニューラルネットワークアーキテクチャに統合できる。
コスト行列と非対称損失
中心的な概念はコスト行列であり、これは真のクラスと予測クラスの各組み合わせに対するペナルティを指定する。二値分類では、典型的な行列には真陽性（多くの場合ゼロ）、真陰性（ゼロ）、偽陽性、偽陰性のコストが含まれる。これらのコストが等しくない場合、最適な決定閾値は0.5からずれる。例えば、医療スクリーニングでは、偽陰性（疾患を見逃す）が偽陽性よりもはるかに高コストである可能性があり、モデルは陽性予測に偏るべきである。
コスト考慮型学習は、重み付きクロスエントロピーなどの損失関数を修正するか、トレーニング後に決定閾値を調整することで実装できる。深層学習では、バイナリクロスエントロピーのような一般的な損失のコスト考慮型変種が使用され、勾配クリッピングや学習率スケジューリングなどの技術をコスト重み付き勾配を処理するように適応できる。
方法とアルゴリズム
コスト考慮型学習にはいくつかのアルゴリズム戦略が存在する。最も直接的なのはコスト考慮型リサンプリングであり、トレーニング例はその誤分類コストに応じてオーバーサンプリングまたはアンダーサンプリングされる。別のアプローチはコスト考慮型ブースティングであり、ブースティングアルゴリズムを修正して誤りをコストで重み付けする。ニューラルネットワークの場合、コスト考慮型学習は損失関数にコスト項を組み込み、AdamやSGD変種などの標準的なオプティマイザを使用することで達成できる。
閾値移動はより単純な後処理方法である：確率的分類器をトレーニングした後、期待コストを最小化するように決定閾値を選択し、多くの場合検証セットを使用する。これは、モデルの確率推定が適切に較正されている場合に特に効果的である。実際には、多くの実務者がリサンプリングと閾値調整を組み合わせて堅牢なパフォーマンスを達成している。
高リスク領域での応用
コスト考慮型学習は、誤りのコストが非対称である分野で広く応用されている。医療では、疾患検出のためのモデルは、診断漏れのコストを最小化するようにトレーニングされ、多くの場合、治療コストと患者転帰から導出されたコスト行列を使用する。金融では、信用スコアリングモデルは、不良融資の承認コストと優良申請者の拒否コストを比較検討する。不正検出システムは、より多くの誤警報を犠牲にしても、不正取引の捕捉を優先する。
生成AIや大規模言語モデルでは、コスト考慮型の原則が人間のフィードバックからの強化学習（RLHF）に現れており、そこでは異なる種類の誤り（例えば、有害な応答と役に立たない応答）に異なるコストが割り当てられる。同様に、モデルプルーニングやデータ拡張は、重要なクラスでのパフォーマンスを維持するためにコスト考慮によって導かれることがある。
評価と指標
精度などの従来の指標は、コスト考慮型問題には不十分である。代わりに、実務者は期待コスト、コスト曲線、コスト考慮型の精度と再現率などのコストベースの指標を使用する。総コストは、各誤り数と関連コストの積の合計によって計算される。2000年代初頭に導入されたコスト曲線は、コスト比の関数として偽陽性率と偽陰性率の間のトレードオフを視覚化する。
モデルを比較する際には、コスト考慮型のROC曲線下面積（AUC）やコスト考慮型F値を使用することがある。これらの指標は、ビジネスまたは臨床目標に沿ったモデルの選択に役立つ。研究では、ベンチマークはしばしば精度とコストの両方を報告して、コスト考慮型アプローチの利点を強調する。
課題と今後の方向性
主要な課題はコスト行列を正確に推定することであり、コストはドメイン固有であることが多く、定量化が難しい場合がある。一部のアプリケーションでは、コストは固定されておらず文脈に応じて変動するため、動的なコスト考慮型学習が必要となる。もう一つの課題は、コスト考慮型手法がモデルの複雑さとトレーニング時間を増加させる可能性があること、特に大規模な深層学習システムに統合する場合である。
今後の研究では、トランスフォーマーベースのモデルやマルチヘッドアテンションアーキテクチャにおけるコスト考慮型学習を探求しており、そこではコスト情報をアテンションメカニズムに注入できる。また、コスト考慮型学習をカリキュラム学習やバッチ正規化と組み合わせてトレーニングの安定性を向上させることにも関心がある。人工知能システムがより重要な領域に展開されるにつれて、コスト考慮型機械学習はモデルの動作を現実世界の優先事項に合わせるための重要なツールであり続けるだろう。