グラフアテンションネットワーク（GAT）は、グラフニューラルネットワーク（GNN）の一種であり、アテンション機構をメッセージパッシングのプロセスに組み込んだものである。標準的なGNNでは、各ノードは近傍ノードからの情報を、多くの場合、等しい重みまたは事前に定義された重みで集約することによって表現を更新する。GATは代わりに、各近傍ノードに異なる重要度を割り当てるアテンション係数を計算し、モデルが特定のタスクにとってグラフの最も関連性の高い部分に焦点を当てることを可能にする。このアプローチは、2018年にPetar Veličkovićとその共同研究者らによって導入され、幾何学的深層学習における基礎的なアーキテクチャとなり、ソーシャルネットワーク分析から分子特性予測に至るまでの幅広い応用で広く使用されている。
GATの核となるアイデアは、元々Transformer (architecture)モデルで自然言語処理のために普及したアテンション機構を、グラフ構造化データに適用することである。トランスフォーマーでは、アテンション重みはシーケンス内のすべてのトークンペア間で計算される。GATでは、アテンションはノードとその直接の近傍ノード間でのみ計算され、局所的で置換同変な操作となる。この設計は、GNNの重要な特性、すなわち出力がノードの順序に不変であることを維持する。これは、グラフには標準的なノード順序が存在しないため、極めて重要である。
背景：グラフニューラルネットワーク
グラフニューラルネットワークは、分子、ソーシャルネットワーク、引用ネットワークなどの入力がグラフであるタスクのために設計された人工ニューラルネットワークのクラスである。画像やテキストとは異なり、グラフには固定されたグリッドやシーケンス構造がなく、ノードは様々な数の接続を持つことができる。GNNは、置換同変な層を使用して、ペアワイズなメッセージパッシングを通じてノード表現を更新することでこれに対処する。各ノードは近傍ノードからのメッセージを集約し、複数の層を経ることで、受容野はより遠いノードを含むように拡大する。
グラフ畳み込みネットワーク（GCN）などの初期のGNNアーキテクチャの主な限界は、情報を集約する際にすべての近傍ノードを等しく扱うことである。例えば、分子グラフでは、炭素原子が水素原子と酸素原子の両方に結合している場合、酸素原子の方が毒性予測にとって化学的により重要である可能性がある。GCNは両方の近傍ノードに同じ重みを割り当てるが、GATは酸素原子により高いアテンションを割り当てることを学習できる。
GATにおけるアテンション機構
GATのアテンション機構は以下のように動作する。特徴ベクトル\(\mathbf{x}_u\)を持つノード\(u\)とその近傍ノード\(v\)について、モデルは共有線形変換と学習可能な重みベクトルを使用してアテンション係数\(e_{uv}\)を計算する。この係数は通常、ソフトマックス関数を使用してすべての近傍ノードにわたって正規化され、アテンション重みの合計が1になることを保証する。正規化された係数は、近傍ノードの変換された特徴の加重和を計算するために使用され、これがノード\(u\)の更新された表現となる。
形式的には、アテンション係数は次のように計算される：
\[ e_{uv} = \text{LeakyReLU}(\mathbf{a}^T [\mathbf{W}\mathbf{x}_u \| \mathbf{W}\mathbf{x}_v]) \]
ここで、\(\mathbf{W}\)は共有重み行列、\(\mathbf{a}\)は学習可能なベクトル、\(\|\)は連結を表す。係数は、すべての近傍ノード\(v \in N_u\)にわたってソフトマックスを使用して正規化される。更新されたノード表現は次のようになる：
\[ \mathbf{h}_u = \sigma\left(\sum_{v \in N_u} \alpha_{uv} \mathbf{W}\mathbf{x}_v\right) \]
ここで、\(\alpha_{uv}\)は正規化されたアテンション係数、\(\sigma\)は非線形性である。
この機構は、トランスフォーマーにおけるマルチヘッドアテンションに類似しており、複数の独立したアテンションヘッドを使用して異なるタイプの関係を捉える。GATでは、複数のアテンション重み付き集約を並列に計算し、その出力を連結または平均化することでマルチヘッドアテンションを適用できる。これにより、モデルの表現力が向上し、トレーニングが安定化する。
アーキテクチャの変種
2018年の元の論文以来、GATのいくつかの変種が提案されている。注目すべき変種の1つは、2021年に導入されたGATv2であり、元のGATのアテンション係数が連結後に線形操作を使用して計算されるという限界に対処している。GATv2はより表現力のあるアテンション機構を使用し、モデルが入力特徴に対してより敏感なアテンションスコアを計算できるようにし、細かい識別を必要とするタスクでのパフォーマンスを向上させる。
もう1つの変種は、エッジ特徴を持つグラフアテンションネットワークであり、アテンション計算にエッジ特徴を組み込む。分子グラフでは、エッジ特徴は結合タイプ（単結合、二重結合、芳香族）を表す可能性があり、それらを組み込むことで、モデルは接続の性質に基づいて近傍ノードに異なる重みを付けることができる。これは、化学や生物学の応用で特に有用である。
さらに、GATは残差接続や層正規化などの他のGNNコンポーネントと組み合わせて、トレーニングの安定性とパフォーマンスを向上させることができる。これらの拡張は、現代のGNNアーキテクチャで一般的である。
応用
GATは幅広い分野に応用されている。分子生物学や創薬では、GATは溶解度、毒性、大腸菌などの特定の細菌に対する有効性などの分子特性を予測するために使用される。分子は原子をノード、結合をエッジとするグラフとして表現され、GATは生物学的活性に重要な官能基に焦点を当てることを学習できる。
ソーシャルネットワーク分析では、GATはノード分類やリンク予測に使用される。例えば、引用ネットワークでは、GATは最も影響力のある引用論文にアテンションを向けることで、論文を研究トピックに分類できる。レコメンデーションシステムでは、GATはユーザーとアイテムの相互作用を二部グラフとしてモデル化でき、アテンションはユーザーにとって最も関連性の高いアイテムを特定するのに役立つ。
GATはまた、コンピュータビジョンにおいて、オブジェクト検出やシーングラフ生成などのタスクにも使用され、画像はオブジェクトとその関係のグラフとして表現される。物理学では、GATは粒子トラック再構成や動的システムのモデル化に応用されている。
トランスフォーマーとの関係
GATとTransformer (architecture)モデルの間には密接な関係がある。幾何学的深層学習に関する2022年のポジションペーパーで指摘されているように、トランスフォーマー層は、すべてのトークンが他のすべてのトークンに接続されている完全グラフに適用されるGNNとして解釈できる。この見方では、トランスフォーマーの自己アテンション機構は、アテンション重みを伴うメッセージパッシングの一種である。逆に、GATは任意のグラフ構造に適応したトランスフォーマーと見なすことができ、アテンションはすべてのペアではなく既存のエッジに制限される。
この接続により、2つの分野間の相互交流が生まれている。位置エンコーディングやクロスアテンションなど、トランスフォーマーのために開発された技術がGNNに適応されている。例えば、グラフラプラシアン固有ベクトルに基づく位置エンコーディングは、アテンションベースのメッセージパッシングを補完する構造情報を提供できる。
実装とライブラリ
いくつかのオープンソースライブラリがGATや他のGNNアーキテクチャを実装している。PyTorch Geometric（PyG）は、PyTorch上に構築された人気のあるライブラリであり、GAT層の効率的な実装と、グラフデータを扱うためのユーティリティを提供する。TensorFlow GNNは、TensorFlowエコシステム向けの同様の機能を提供する。Deep Graph Library（DGL）は、PyTorchとTensorFlowの両方のバックエンドをサポートするフレームワークに依存しないライブラリである。JAXユーザー向けにはjraphライブラリがGNN実装を提供し、Juliaユーザー向けにはGraphNeuralNetworks.jlとGeometricFlux.jlが利用可能である。
これらのライブラリは通常、カスタムモデルに簡単に統合できる事前構築されたGAT層を含む。また、引用ネットワーク（Cora、CiteSeer）や分子特性予測データセットなど、GNNを評価するためのデータセットとベンチマークも提供する。
限界と拡張
すべてのメッセージパッシングGNNと同様に、GATはWeisfeiler-Lehmanグラフ同型性テストの表現力限界の影響を受ける。これは、GATが区別できない非同型グラフのペアが存在することを意味し、細かい構造的識別を必要とするタスクにとって限界となる可能性がある。これを克服するために、研究者は単体複体上で動作する高次GNNや、グローバルアテンションを持つグラフトランスフォーマーを提案しているが、これらはしばしば計算コストの増加を伴う。
もう1つの限界はスケーラビリティである。すべての近傍ノードにわたってアテンションを計算することは、高次数ノードを持つグラフではコストがかかる可能性があるが、これは一般に完全なトランスフォーマーの2次コストほど深刻ではない。近傍ノードのサンプリングやスパースアテンションの使用などの技術がこの問題を軽減できる。
2024年現在、GATは広く使用され、活発に研究されているアーキテクチャであり続けている。近傍ノードの重要度を適応的に重み付けする能力により、GNNツールボックスにおける標準的なツールとなっており、機械学習と人工知能にわたる新しい変種や応用に影響を与え続けている。