成長型自己組織化マップ（GSOM）は、教師なし学習、特に高次元データのクラスタリングと可視化に使用される人工ニューラルネットワークの一種である。標準的な自己組織化マップ（SOM）が最初から固定されたニューロンのグリッドを持つのに対し、GSOMは最小限のノードネットワーク（通常は4つ）から始まり、トレーニングプロセス中に新しいノードを追加することで成長する。この動的な成長により、GSOMは入力データの基盤となる構造にトポロジーを適応させることができ、複雑または不均一なデータ分布のより良い表現につながる可能性がある。この概念は2000年代初頭にSOMの拡張として導入され、マップサイズの事前指定の必要性を減らし、データ密度の高い領域でのマップの解像度を向上させることを目的とした。
GSOMは主に2つのフェーズで動作する：成長フェーズと平滑化フェーズである。成長フェーズでは、ノードの累積誤差が事前定義されたしきい値を超えた領域に新しいノードを挿入することでネットワークが拡張する。誤差は通常、ノードの重みベクトルとそれが勝利した入力ベクトルとの間のユークリッド距離として測定される。ノードの誤差がしきい値を超えると、その隣接位置に新しいノードが追加され、重みは既存のノード間を補間するように初期化される。平滑化フェーズは、さらなる成長なしに重みを微調整し、標準的なSOMの最終フェーズと類似している。この2フェーズアプローチは、細部の捕捉と安定した解釈可能なマップの維持との間のトレードオフをバランスさせるのに役立つ。
成長メカニズム
GSOMの成長プロセスは、ネットワークが誤差にどれだけ敏感かを制御する成長しきい値（GT）パラメータによって支配される。GTが低いとノード挿入がより頻繁に発生し、結果としてより大きなマップになる一方、GTが高いとより小さくコンパクトなマップが得られる。各ノードの誤差累積は通常、それが勝利した入力ベクトルに対する二乗誤差の合計として計算され、この値がGTと比較される。しきい値を超えると、ノードは成長対象としてマークされ、最も高い誤差を持つ隣接ノードの方向に新しいノードが挿入される。このメカニズムにより、マップはデータがより複雑または密集している領域で優先的に拡張される。
トレーニングアルゴリズム
GSOMのトレーニングアルゴリズムは一連のステップに従う。最初に、ランダムな重みベクトルを持つ2x2のノードグリッドが作成される。各入力ベクトルに対して、勝利ノード（入力への距離が最小のノード）が特定され、その重みとトポロジー上の隣接ノードの重みが、時間とともに減少する学習率を使用して更新される。各エポックの後、各ノードの誤差が累積される。いずれかのノードの誤差がGTを超えると、成長がトリガーされる。このプロセスは、総誤差またはノード数が停止基準に達するまで繰り返される。最終的な平滑化フェーズは、より低い学習率で固定数のエポック実行され、重みを洗練する。このアルゴリズムは、複雑なプルーニングやマージ操作を必要としないため、他の成長ネットワークモデルと比較して計算効率が良い。
アプリケーション
GSOMは、データが高次元で最適なマップサイズが不明なさまざまな領域で適用されている。一般的なアプリケーションには、機械学習タスク、例えば文書クラスタリング、画像セグメンテーション、ネットワークトラフィックの異常検出が含まれる。バイオインフォマティクスでは、GSOMは遺伝子発現データのクラスタリングに使用されており、生物学的に関連するクラスターの数が事前に不明なことが多い。マップを適応的に成長させる能力は、データ分布が時間とともに変化する可能性のあるストリーミングデータシナリオで特に有用であり、GSOMは新しいパターンに対応するためにノードを追加し続けることができる。標準的なSOMと比較して、GSOMは特にデータが不均一な密度を持つ場合に、より良い量子化誤差とトポロジー保存を達成することが多い。
標準SOMとの比較
GSOMと標準SOMの主な違いは、ネットワークアーキテクチャにある。標準SOMは、トレーニング前にマップの行数と列数をユーザーが指定する必要があり、データの内在次元が不明な場合には困難である。GSOMは、必要に応じてマップを成長させることでこの要件を排除する。しかし、この柔軟性は、成長しきい値や最大ノード数などの追加パラメータを調整する必要があるというコストを伴う。実際には、GSOMは初期学習率と入力提示の順序により敏感である傾向があるが、同様のノード数を持つ固定サイズのSOMよりもコンパクトな表現に収束することが多い。研究によると、GSOMは同等サイズのSOMよりも最終的な量子化誤差を低く達成できるが、ノード挿入の計算オーバーヘッドは高くなる可能性がある。
拡張とバリアント
GSOMの特定の制限に対処するために、いくつかのバリアントが提案されている。例えば、成長階層型自己組織化マップ（GHSOM）は、各ノードがそれ自体マップである階層構造を構築することでGSOMを拡張し、マルチレベルクラスタリングを可能にする。別のバリアントである成長型ニューラルガス（GNG）は関連しているが、ノード間の接続の年齢に基づく異なる成長ルールを使用する。いくつかの実装では、ノイズの多いデータでトレーニングする際の堅牢性を向上させるためにデータ拡張技術を組み込んでいる。GSOMはまた、次元削減を必要とする人工知能システムの前処理ステップとして使用するなど、深層学習フレームワークと統合されている。これらの拡張にもかかわらず、適応的成長のコアアイデアはこれらすべてのアプローチの中心に残っている。
制限と考慮事項
GSOMの制限の1つは、成長しきい値を適切に設定する必要があることである；低すぎるとマップが過度に大きくなり、トレーニングデータの過学習につながる可能性がある。逆に、高いしきい値は、重要な構造を捉えるには小さすぎるマップをもたらす可能性がある。アルゴリズムはまた、距離計算がスケールに敏感であるため、入力データが正規化されていることを前提としている。さらに、入力ベクトルが提示される順序は最終的なマップに影響を与える可能性があるため、異なるランダムシードで複数回実行することが推奨されることが多い。GSOMは大規模言語モデルやトランスフォーマーベースのアーキテクチャではなく、競合学習ネットワークのクラスに属しており、これは現代の生成AIアプリケーションを支配する教師ありおよび自己教師ありモデルとは異なる。それでも、研究と産業における探索的データ分析のための有用なツールであり続けている。
関連項目
- Self-organizing map（提供されたリストにはないが、関連）
- Neural network
- Machine learning
- Data Augmentation