图神经网络（GNN）是一类为输入为图的任务而设计的人工神经网络。图由节点（顶点）和边（连接）组成，可以表示实体及其关系，例如分子中的原子或社交网络中的用户。与图像或文本不同，图的节点没有规范的排序，因此GNN架构通常设计为置换等变的：对输入中的节点重新排序会以相同方式重新排序相应的节点表示。对于图级预测任务，GNN使用置换不变的读出函数，其输出不受节点排序影响。
GNN的关键设计元素是成对消息传递，其中图节点通过与其邻居交换信息来迭代更新其表示。这使得网络能够捕捉局部结构模式和依赖关系。GNN已成为关系数据上机器学习的基石，应用涵盖深度学习领域，如分子生物学、化学、物理学、社交网络和自然语言处理。
历史发展
将神经网络应用于图的概念出现于20世纪90年代末和21世纪初。早期的递归和卷积方法奠定了基础，但该领域在2010年代随着更强大的计算资源的出现以及深度学习在其他领域的成功而获得了显著发展。2022年的一篇立场论文认为，许多被描述为“超越”消息传递的架构可以解释为在适当修改的图上进行消息传递，并为此类方法提出了“增强消息传递”一词。这凸显了消息传递在GNN设计中的核心作用。
架构
通用GNN的架构实现了几个基本层。置换等变层通过消息传递将图的表示映射为同一图的更新表示。局部池化层通过下采样粗化图，增加感受野，类似于卷积神经网络中的池化。全局池化层（也称为读出层）提供整个图的固定大小表示，并且必须是置换不变的。全局池化的示例包括逐元素求和、均值或最大值。
标准消息传递GNN的表达能力至多与Weisfeiler-Leman图同构测试相当，这意味着存在此类网络无法区分的不同图结构。可以设计在更高维几何（如单纯复形）上运行的更强大的GNN。截至2022年，未来架构是否会超越消息传递原语仍是一个开放的研究问题。
消息传递层
消息传递层是将图映射为同一图的更新表示的置换等变层。形式上，它们可以表示为消息传递神经网络（MPNN）。设G = (V, E)为一个图，其中V是节点集，E是边集。对于V中的节点u，设N_u为其邻域，x_u为其特征，e_uv为边(u, v)的特征。MPNN层计算更新后的节点表示h_u为：
h_u = φ(x_u, ⊕_{v∈N_u} ψ(x_u, x_v, e_uv))
其中φ和ψ是可微函数（例如人工神经网络），⊕是可微的、置换不变的聚合器，如求和、均值或最大值。聚合器组合来自邻居的消息，φ更新节点的表示。每个消息传递层将感受野增加一跳，允许信息在图中的传播。
几种GNN架构实现了不同风格的消息传递。例如，图卷积网络（GCN）使用邻居特征的简单平均，而图注意力网络（GAT）采用注意力机制来加权邻居贡献。这些变化影响模型的容量和归纳偏置。
几何深度学习
GNN是更广泛的几何深度学习主题的一部分，该主题旨在将神经网络架构推广到非欧几里得域。在此框架中，某些现有架构可以解释为在适当定义的图上运行的GNN。例如，计算机视觉中的卷积神经网络层可以被视为应用于节点为像素、边连接相邻像素的图的GNN。类似地，自然语言处理中的transformer层可以被视为应用于节点为文本中单词或标记的完全图的GNN。这种视角在统一的数学框架下统一了看似不同的架构。
应用
GNN已应用于广泛的领域。在分子药物设计中，分子被表示为图，节点为原子，边为原子键，通常包含已知的化学性质作为特征。输入可能因原子和键的数量不同而大小不一。图级任务可能是预测分子对特定医学应用的效力，例如消除大肠杆菌。GNN还用于社交网络分析、引文网络和推荐系统。在物理学中，它们可以模拟粒子相互作用，在组合优化中，它们已被应用于NP难问题，如旅行商问题。
实现与库
几个开源库实现了GNN，使其对研究人员和从业者易于使用。PyTorch Geometric是一个基于PyTorch构建的流行库，而TensorFlow GNN为TensorFlow提供类似功能。深度图库（DGL）与框架无关，支持多个后端。jraph专为JAX设计，GraphNeuralNetworks.jl和GeometricFlux.jl服务于Julia生态系统。这些库提供预构建的层、池化操作和处理图数据的工具，加速了开发和实验。
挑战与未来方向
尽管取得了成功，GNN仍面临若干挑战。相对于Weisfeiler-Leman测试的表达能力限制限制了它们区分某些图结构的能力。大规模图的可扩展性是另一个问题，因为消息传递可能计算密集。研究继续探索更具表达力的架构，例如使用高阶特征或增强消息传递的架构。此外，对GNN泛化和鲁棒性的理论理解是一个活跃的研究领域。截至2022年，该领域正在快速发展，新架构和应用不断涌现。