データ分析において、異常検知とは、データの大部分から著しく逸脱し、正常な挙動の明確な定義に適合しない、稀な項目、事象、または観測値を識別することである。そのような例は、異なるメカニズムによって生成された疑いを引き起こしたり、データセットの残りの部分と矛盾しているように見えたりする可能性がある。この概念は、外れ値検知とも呼ばれ、文脈や適用領域によっては新規性検知と呼ばれることもある。
異常検知は、サイバーセキュリティ、医療、機械視覚、統計学、神経科学、法執行、金融詐欺検知など、多くの領域で応用されている。歴史的には、異常値は、平均や標準偏差の計算などの統計分析を支援するために、データから明確に除外または削除する対象として最初に求められた。また、線形回帰などのモデルからの予測を改善するために削除され、最近では、その削除が機械学習アルゴリズムの性能向上に役立っている。しかし、多くのアプリケーションでは、異常値自体が主要な関心事であり、データセット全体の中で最も望まれる観測値であり、ノイズや無関係な外れ値から識別し分離する必要がある。
定義と用語
異常検知とは、特定の設定において、期待される正常な挙動から大幅に逸脱する観測値、事象、またはパターンを識別することである。正常性の概念は、データ、観測値の表現、それらが発生する文脈、および検知方法によって行われる仮定に依存するため、すべての領域に普遍的に適用される単一の操作上の定義は存在しない。
異常は必ずしもデータエラーではない。アプリケーションによっては、測定または記録のエラー、データを生成したプロセスの変化、異常だが有効な観測値、または詐欺、機器の故障、セキュリティ侵害などの関心事象を表す場合がある。異常は、単に希少性や他の観測値からの距離によって定義されるわけでもない。異なる方法は、確率分布、距離または局所密度、クラスタメンバーシップ、正常データの周囲の境界、予測誤差、再構成誤差、または他のモデル固有の基準を使用して正常性を特徴付ける。
多くの異常検知方法は、即時のカテゴリラベルではなく、数値の異常スコアを返す。このスコアは、観測値が適合された正常性モデルから逸脱する程度を表し、決定しきい値を適用することでバイナリ決定に変換される。したがって、観測値が異常としてラベル付けされるかどうかは、正常性モデル、利用可能な文脈、および使用される決定ルールに依存する。
異常の種類
広く使用されている分類では、3つのタイプの異常が区別される。点異常は、データの残りの部分と比較して異常と見なされる個々の観測値であり、例えば、データセット内の他のトランザクションと比較して異常に大きいトランザクションなどである。文脈異常は、条件付き異常とも呼ばれ、特定の文脈内でのみ異常である。観測値は、ある一連の状況では正常であるが、別の状況では異常である場合があり、例えば、夏には正常であるが冬には異常な温度などが挙げられる。文脈は、時間的、空間的、人口統計学的、またはアプリケーションによって定義されるその他のものであり得る。集合異常は、個々の観測値がそれ自体では異常でない場合でも、全体として異常である関連する観測値の集合であり、例えば、時系列の異常な部分列や、コンピュータネットワーク内の予期しない活動パターンなどが挙げられる。
適切なカテゴリは、データの構造に部分的に依存する。点異常法は独立した観測値には十分かもしれないが、時系列、空間データ、シーケンス、グラフでは、文脈的または集合的な関係を明示的にモデル化する必要があることが多い。
関連用語
異常、外れ値、新規性という用語は、同じ意味で使用されることがあるが、統計学、機械学習、信号処理、および個々のアプリケーション領域によってその使用法は異なる。外れ値は、一般的に、データセット内の他の観測値と矛盾しているように見える観測値を示し、外れ値検知方法では、モデルを適合させるために使用されるデータにそのような観測値が存在することを許容することが多い。新規性検知では、トレーニングデータは一般的に正常な挙動を表すと想定され、以前に見られなかったテスト観測値が、結果として得られる正常性モデルに対して評価される。したがって、新規性検知は、しばしば一クラス分類の形式として定式化される。これらの区別は、文献全体で一貫して適用されているわけではなく、より広い用語である異常検知には、これらの設定がすべて含まれることが多い。
技術とカテゴリ
異常検知技術には、大きく3つのカテゴリが存在する。教師あり異常検知技術は、「正常」と「異常」とラベル付けされたデータセットを必要とし、分類器のトレーニングを伴う。しかし、ラベル付きデータが一般的に利用できず、クラスが本質的に不均衡であるため、このアプローチが使用されることはめったにない。半教師あり異常検知技術は、データの一部がラベル付けされていること、通常は正常なデータであることを想定し、正常な挙動を表すモデルを構築してから、テストインスタンスがモデルによって生成された可能性をテストする。教師なし異常検知技術は、データがラベル付けされていないことを想定しており、その適用範囲が広く、より関連性が高いため、圧倒的に最も一般的に使用されている。
統計的方法
統計的アプローチは、確率分布を使用してデータの正常な挙動をモデル化する。方法には、ガウス混合モデルなどのパラメトリック技術や、ヒストグラムやカーネル密度推定に基づくノンパラメトリック技術が含まれる。適合されたモデルの下で確率が低い観測値は、異常としてフラグが立てられる。これらの方法は、観測値間の独立性を仮定することが多く、適応なしでは複雑な構造化データにはあまり適さない。
距離ベースおよび密度ベースの方法
距離ベースの方法は、観測値が最近傍から遠い場合に異常として特徴付ける。局所外れ値因子などの密度ベースの方法は、観測値の周囲の局所密度をその近傍の密度と比較し、密度が著しく低い領域の観測値にフラグを立てる。これらの方法は、密度が変化するデータセット内の点異常を識別するのに特に有用であり、データ分布に関する事前の仮定を必要としない。
クラスタリングベースの方法
クラスタリングベースの異常検知は、データをクラスタにグループ化し、どのクラスタにも属さない点、クラスタの重心から遠い点、または非常に小さいクラスタに属する点を異常として識別する。k-meansやDBSCANなどのアルゴリズムがこの目的に適合されている。このアプローチは直感的で効率的であり得るが、その性能は選択されたクラスタリングアルゴリズムとそのパラメータに依存し、異常なクラスタを構成するものの定義はアプリケーションによって異なる。
機械学習および深層学習アプローチ
現代の異常検知は、ますます機械学習および深層学習技術に依存している。オートエンコーダは、ニューラルネットワークの一種であり、正常なデータを再構成することを学習し、高い再構成誤差は異常を示す。一クラスサポートベクターマシンは、高次元の特徴空間内の正常なデータの周囲に境界を学習する。トランスフォーマーアーキテクチャおよび大規模言語モデルに基づく方法も、ログや時系列などのシーケンシャルデータ内の異常を検出するために調査されており、長距離依存関係と文脈パターンをモデル化する能力を活用している。
アプリケーション
サイバーセキュリティ
異常検知は、侵入検知システムの基礎的なコンポーネントである。この概念は時間とともに大きく進化し、システム管理者が休暇中のユーザーのアカウントへのアクセスや予期しないプリンタ活動などの異常な活動を監視する手動プロセスとして始まった。1970年代後半から1980年代初頭にかけて、監査ログとシステムログの分析は主にインシデント調査のための遡及的なものであり、データ量がリアルタイム監視を非現実的にしていた。デジタルストレージの手頃な価格により、専用プログラムによる監査ログのオンライン分析が可能になったが、これらのプログラムは計算集約的であるため、通常はオフピーク時間に実行された。1990年代には、生成された監査データをリアルタイムで分析できる侵入検知システムが登場し、予防的な検知に移行した。現代のシステムは、ネットワークトラフィック、ユーザー行動、およびエンドポイント活動に異常検知を適用して、ゼロデイ攻撃、内部関係者による脅威、およびその他の悪意のあるパターンを識別する。
金融詐欺検知
金融分野では、異常検知は、クレジットカード詐欺、保険金請求の悪用、マネーロンダリングなどの不正なトランザクションを識別する。トランザクション金額、頻度、または地理的位置の異常なパターンは、さらなる調査のためのアラートをトリガーする可能性がある。この分野は、過去の詐欺ラベルを使用する教師あり方法と、新しい詐欺スキームを発見するための教師なし方法の両方から恩恵を受けている。
医学とヘルスケア
医療アプリケーションには、異常な生理的信号の検出、治療に対する予期しない反応の識別、MRIやCTスキャンなどの医用画像の異常のフラグ付けが含まれる。これらのシステムは、臨床医が確立された基準から逸脱する症例に注意を集中させるのに役立ち、まれな状態の診断や機器の故障の早期発見を改善する可能性がある。
製造と予知保全
産業環境では、異常検知は機器からのセンサー読み取り値を監視して、故障が発生する前に予測する。異常な振動パターン、温度スパイク、または音響シグネチャは、差し迫った故障を示す可能性があり、保守チームが積極的に介入できるようにする。これにより、製造、航空、エネルギーなどのセクター全体でダウンタイムと保守コストが削減される。
課題と限界
異常検知は、いくつかの永続的な課題に直面している。正常性の定義は時間とともに変化することが多く、モデルがコンセプトドリフトに適応する必要がある。異常の希少性により、ラベル付きデータが不足し、教師ありアプローチが制限され、評価が複雑になる。不均衡なデータセットは、アナリストが多数のアラートをトリアージする必要があるサイバーセキュリティなどの領域でコストがかかる、高い偽陽性率につながる可能性がある。さらに、異常は文脈依存であり、独立した点観測値でうまく機能する方法は、明示的な文脈モデリングなしでは、グラフやシーケンスなどの構造化データでは失敗する可能性がある。
決定しきい値の選択は重要であり、それを下げると検出率は向上するが誤警報も増加し、上げると微妙な異常を見逃す可能性がある。異常検知方法を領域間で比較するための普遍的に受け入れられたメトリックは存在せず、偽陽性と偽陰性の相対的なコストはアプリケーションによって大きく異なる。
他の分野との関係
異常検知は、人工知能と統計学のいくつかの領域と交差している。生成AIでは、トランスフォーマーなどのモデルを使用してシーケンスの可能性を推定でき、異常な入力の検出の基礎を提供する。MIT CSAILやスタンフォードAIラボなどの機関での研究は、理論的基盤と実用的なアルゴリズムに貢献してきた。Amazon Web ServicesやGoogle Cloudなどの企業は、クラウドプラットフォームの一部として異常検知サービスを提供し、機械学習パイプラインと統合している。この分野はまた、時系列分析、信号処理、およびロバスト統計学の研究からも引き出されており、データ品質管理とシステム監視の実践に情報を提供している。