Uma Graph Attention Network (GAT) é um tipo de rede neural de grafos (GNN) que incorpora mecanismos de atenção ao processo de passagem de mensagens. Em GNNs padrão, cada nó atualiza sua representação agregando informações de seus vizinhos, muitas vezes com pesos iguais ou predefinidos. As GATs, em vez disso, calculam coeficientes de atenção que atribuem diferentes importâncias a cada vizinho, permitindo que o modelo se concentre nas partes mais relevantes do grafo para uma determinada tarefa. Essa abordagem, introduzida por Petar Veličković e colegas em 2018, tornou-se uma arquitetura fundamental em aprendizado profundo geométrico e é amplamente utilizada em aplicações que vão desde análise de redes sociais até previsão de propriedades moleculares.
A ideia central das GATs é aplicar o mecanismo de atenção, originalmente popularizado em modelos Transformer (architecture) para processamento de linguagem natural, a dados estruturados em grafos. Em um transformer, os pesos de atenção são calculados entre todos os pares de tokens em uma sequência. Em uma GAT, a atenção é calculada apenas entre um nó e seus vizinhos imediatos, tornando-a uma operação localizada e equivariante a permutações. Esse design preserva a propriedade chave das GNNs: a saída é invariante à ordem dos nós, o que é crucial porque grafos não possuem uma ordem canônica de nós.
Contexto: Redes Neurais de Grafos
Redes neurais de grafos são uma classe de redes neurais artificiais projetadas para tarefas em que as entradas são grafos, como moléculas, redes sociais ou redes de citações. Ao contrário de imagens ou texto, grafos não possuem uma grade fixa ou estrutura de sequência, e os nós podem ter números variados de conexões. As GNNs abordam isso usando camadas equivariantes a permutações que atualizam as representações dos nós por meio de passagem de mensagens entre pares. Cada nó agrega mensagens de seus vizinhos e, após múltiplas camadas, o campo receptivo se expande para incluir nós mais distantes.
Uma limitação chave das primeiras arquiteturas de GNN, como as Graph Convolutional Networks (GCNs), é que elas tratam todos os vizinhos igualmente ao agregar informações. Por exemplo, em um grafo molecular, um átomo de carbono pode estar conectado tanto a um átomo de hidrogênio quanto a um átomo de oxigênio, mas o oxigênio pode ser mais quimicamente significativo para prever toxicidade. As GCNs atribuiriam o mesmo peso a ambos os vizinhos, enquanto as GATs podem aprender a atribuir maior atenção ao átomo de oxigênio.
Mecanismo de Atenção nas GATs
O mecanismo de atenção nas GATs opera da seguinte forma. Para um nó \(u\) com vetor de características \(\mathbf{x}_u\), e seu vizinho \(v\), o modelo calcula um coeficiente de atenção \(e_{uv}\) usando uma transformação linear compartilhada e um vetor de pesos aprendível. Esse coeficiente é tipicamente normalizado entre todos os vizinhos usando uma função softmax, garantindo que os pesos de atenção somem um. Os coeficientes normalizados são então usados para calcular uma soma ponderada das características transformadas dos vizinhos, que se torna a representação atualizada do nó \(u\).
Formalmente, o coeficiente de atenção é calculado como:
\[ e_{uv} = \text{LeakyReLU}(\mathbf{a}^T [\mathbf{W}\mathbf{x}_u \| \mathbf{W}\mathbf{x}_v]) \]
onde \(\mathbf{W}\) é uma matriz de pesos compartilhada, \(\mathbf{a}\) é um vetor aprendível, e \(\|\\) denota concatenação. Os coeficientes são normalizados usando softmax sobre todos os vizinhos \(v \in N_u\). A representação atualizada do nó é então:
\[ \mathbf{h}_u = \sigma\left(\sum_{v \in N_u} \alpha_{uv} \mathbf{W}\mathbf{x}_v\right) \]
onde \(\alpha_{uv}\) são os coeficientes de atenção normalizados e \(\sigma\) é uma não linearidade.
Esse mecanismo é análogo à atenção de múltiplas cabeças em transformers, onde múltiplas cabeças de atenção independentes são usadas para capturar diferentes tipos de relações. Nas GATs, a atenção de múltiplas cabeças pode ser aplicada calculando várias agregações ponderadas por atenção em paralelo e concatenando ou calculando a média de suas saídas. Isso aumenta o poder expressivo do modelo e estabiliza o treinamento.
Variantes Arquiteturais
Várias variantes de GATs foram propostas desde o artigo original de 2018. Uma variante notável é a GATv2, introduzida em 2021, que aborda uma limitação da GAT original onde os coeficientes de atenção são calculados usando uma operação linear após a concatenação. A GATv2 usa um mecanismo de atenção mais expressivo que permite ao modelo calcular pontuações de atenção mais sensíveis às características de entrada, melhorando o desempenho em tarefas que exigem discriminação de granularidade fina.
Outra variante é a Graph Attention Network com Características de Arestas, que incorpora características de arestas no cálculo da atenção. Em grafos moleculares, as características de arestas podem representar tipos de ligação (simples, dupla, aromática), e incorporá-las permite ao modelo ponderar vizinhos de forma diferente com base na natureza de sua conexão. Isso é particularmente útil em aplicações de química e biologia.
Além disso, as GATs podem ser combinadas com outros componentes de GNN, como conexões residuais e normalização de camadas, para melhorar a estabilidade do treinamento e o desempenho. Esses aprimoramentos são comuns em arquiteturas modernas de GNN.
Aplicações
As GATs têm sido aplicadas a uma ampla gama de domínios. Em biologia molecular e descoberta de medicamentos, as GATs são usadas para prever propriedades moleculares, como solubilidade, toxicidade ou eficácia contra bactérias específicas como E. coli. Moléculas são representadas como grafos com átomos como nós e ligações como arestas, e as GATs podem aprender a se concentrar em grupos funcionais críticos para a atividade biológica.
Em análise de redes sociais, as GATs são usadas para classificação de nós e previsão de links. Por exemplo, em uma rede de citações, as GATs podem classificar artigos em tópicos de pesquisa ao atender aos artigos citados mais influentes. Em sistemas de recomendação, as GATs podem modelar interações usuário-item como um grafo bipartido, onde a atenção ajuda a identificar os itens mais relevantes para um usuário.
As GATs também são usadas em visão computacional para tarefas como detecção de objetos e geração de grafos de cena, onde imagens são representadas como grafos de objetos e suas relações. Em física, as GATs têm sido aplicadas à reconstrução de trilhas de partículas e à modelagem de sistemas dinâmicos.
Relação com Transformers
Há uma relação próxima entre GATs e modelos Transformer (architecture). Como observado em um artigo de posição de 2022 sobre aprendizado profundo geométrico, uma camada de transformer pode ser interpretada como uma GNN aplicada a um grafo completo onde cada token está conectado a todos os outros tokens. Nessa visão, o mecanismo de autoatenção em transformers é uma forma de passagem de mensagens com pesos de atenção. Por outro lado, as GATs podem ser vistas como transformers adaptados a estruturas de grafos arbitrárias, onde a atenção é restrita a arestas existentes em vez de todos os pares.
Essa conexão levou a uma polinização cruzada entre os dois campos. Técnicas desenvolvidas para transformers, como codificações posicionais e atenção cruzada, foram adaptadas para GNNs. Por exemplo, codificações posicionais baseadas em autovetores do Laplaciano do grafo podem fornecer informações estruturais que complementam a passagem de mensagens baseada em atenção.
Implementações e Bibliotecas
Várias bibliotecas de código aberto implementam GATs e outras arquiteturas de GNN. PyTorch Geometric (PyG) é uma biblioteca popular construída sobre PyTorch que fornece implementações eficientes de camadas GAT, juntamente com utilitários para lidar com dados de grafos. TensorFlow GNN oferece funcionalidade semelhante para o ecossistema TensorFlow. A Deep Graph Library (DGL) é uma biblioteca agnóstica de framework que suporta tanto backends PyTorch quanto TensorFlow. Para usuários de JAX, a biblioteca jraph fornece implementações de GNN, e para usuários de Julia, GraphNeuralNetworks.jl e GeometricFlux.jl estão disponíveis.
Essas bibliotecas tipicamente incluem camadas GAT pré-construídas que podem ser facilmente integradas em modelos personalizados. Elas também fornecem conjuntos de dados e benchmarks para avaliar GNNs, como redes de citações (Cora, CiteSeer) e conjuntos de dados de previsão de propriedades moleculares.
Limitações e Extensões
Como todas as GNNs de passagem de mensagens, as GATs estão sujeitas aos limites de poder expressivo do teste de isomorfismo de grafos de Weisfeiler-Lehman. Isso significa que existem pares de grafos não isomórficos que as GATs não conseguem distinguir, o que pode ser uma limitação para tarefas que exigem discriminação estrutural de granularidade fina. Para superar isso, pesquisadores propuseram GNNs de ordem superior que operam em complexos simpliciais ou usam transformers de grafos com atenção global, embora isso muitas vezes venha com custo computacional aumentado.
Outra limitação é a escalabilidade. Calcular atenção sobre todos os vizinhos pode ser caro para grafos com nós de alto grau, embora isso seja geralmente menos severo do que o custo quadrático de transformers completos. Técnicas como amostragem de vizinhos ou atenção esparsa podem mitigar esse problema.
Em 2024, as GATs permanecem uma arquitetura amplamente usada e ativamente pesquisada. Sua capacidade de ponderar adaptativamente a importância dos vizinhos as tornou uma ferramenta padrão no arsenal de GNN, e elas continuam a inspirar novas variantes e aplicações em aprendizado de máquina e inteligência artificial.