그래프 신경망(GNN)은 분자 구조, 소셜 네트워크, 인용 네트워크와 같은 그래프를 입력으로 하는 작업을 위해 설계된 인공 신경망의 한 종류이다. 고정된 크기와 순서를 가진 입력을 가정하는 표준 신경망과 달리, GNN은 임의의 크기와 위상을 가진 그래프에서 작동한다. 그래프는 일반적으로 표준적인 노드 순서가 없기 때문에, GNN 아키텍처는 일반적으로 순열 등변성(permutation equivariance)을 갖도록 설계된다. 즉, 입력 노드의 순서를 바꾸면 해당 노드 표현도 동일한 방식으로 재정렬된다. 그래프 수준 예측 작업의 경우, GNN은 순열 불변성(permutation-invariant) 읽기 함수를 사용하여 출력이 노드 순서에 영향을 받지 않도록 보장한다.
GNN의 핵심 설계 요소는 쌍별 메시지 전달(pairwise message passing)로, 노드가 이웃과 정보를 교환하며 반복적으로 표현을 업데이트하는 방식이다. 이를 통해 네트워크는 로컬 및 글로벌 구조 정보를 모두 포착할 수 있다. 대표적인 응용 분야는 분자 약물 설계로, 분자는 원자를 노드로, 결합을 엣지로 표현하며 화학적 특성을 특징으로 포함하는 경우가 많다. 그래프 수준 작업에는 특정 의학적 용도, 예를 들어 대장균 박테리아 제거에 대한 분자의 효능 예측이 포함된다. GNN은 또한 자연어 처리, 소셜 네트워크 분석, 물리학, NP-난해 조합 최적화에도 적용되었다.
역사적 발전
그래프 구조 데이터에 신경망을 적용하는 개념은 1990년대 후반과 2000년대 초반에 등장했다. Franco Scarselli와 동료들 같은 연구자들의 초기 연구는 그래프 구조를 순환 방식으로 처리하는 그래프용 순환 신경망을 도입했다. 같은 시기에 컨볼루션 접근법이 개발되어 최초의 그래프 컨볼루션 네트워크가 탄생했다. 이러한 초기 아키텍처는 현대 GNN의 기반을 마련했으며, 이후 많은 학계 및 산업 연구 그룹의 기여를 통해 발전해 왔다.
중요한 이정표는 2017년 메시지 전달 신경망(MPNN)의 도입으로, 기존의 많은 GNN 변형을 공통 프레임워크로 통합했다. 그 이후로 각각 다른 방식의 메시지 전달을 구현하는 수많은 아키텍처가 제안되었다. 2022년 포지션 페이퍼는 메시지 전달을 "넘어서는" 것으로 설명된 많은 아키텍처가 적절히 수정된 그래프에 대한 메시지 전달로 해석될 수 있다고 주장하며, 이러한 접근 방식을 "증강 메시지 전달(augmented message passing)"이라는 용어로 명명했다.
아키텍처
일반적인 GNN의 아키텍처는 일반적으로 세 가지 기본 유형의 레이어를 포함한다: 순열 등변성 레이어, 로컬 풀링 레이어, 글로벌 풀링 레이어. 순열 등변성 레이어는 종종 메시지 전달을 통해 구현되며, 인접 이웃의 메시지를 집계하여 노드 표현을 업데이트한다. 각 레이어는 수용 필드를 한 홉씩 증가시켜 노드가 그래프의 더 먼 부분에서 정보를 통합할 수 있게 한다.
로컬 풀링 레이어는 다운샘플링을 통해 그래프를 조밀화하며, 이미지용 컨볼루션 신경망의 풀링과 유사하다. 예로는 k-최근접 이웃 풀링, top-k 풀링, 자기 주의 풀링이 있다. 글로벌 풀링 레이어는 읽기 레이어라고도 하며, 전체 그래프의 고정 크기 표현을 생성하고 순열 불변성이어야 한다. 일반적인 읽기 함수로는 요소별 합, 평균, 최대값이 있다.
표준 메시지 전달 GNN은 최대 Weisfeiler-Lehman 그래프 동형 테스트만큼의 표현력을 가지며, 즉 이러한 네트워크로 구별할 수 없는 서로 다른 그래프 구조가 존재한다. 단순 복합체(simplicial complexes)와 같은 고차원 기하학에서 작동하는 더 강력한 GNN이 제안되었다. 2022년 현재, 미래 아키텍처가 메시지 전달 프리미티브를 극복할지 여부는 여전히 열린 연구 질문이다.
메시지 전달 레이어
메시지 전달 레이어는 대부분의 GNN의 핵심이다. 공식적으로, 이는 메시지 전달 신경망(MPNN)으로 표현될 수 있다. 노드 특징 x_u와 엣지 특징 e_uv를 가진 그래프 G = (V, E)가 주어지면, MPNN 레이어는 미분 가능한 함수 φ와 메시지 함수 ψ를 사용하여 각 노드의 표현 h_u를 업데이트한다:
h_u = φ(x_u, ⊕_{v∈N_u} ψ(x_u, x_v, e_uv))
여기서 N_u는 노드 u의 이웃을 나타내고, ⊕는 합, 평균, 최대값과 같은 순열 불변 집계 함수이다. 메시지 함수 ψ는 각 이웃에서 메시지를 계산하고, 집계는 이러한 메시지를 결합한다. 업데이트 함수 φ는 노드 자체의 특징과 집계된 메시지를 결합하여 새로운 표현을 생성한다.
다양한 GNN 아키텍처는 ψ와 φ를 정의하는 방식이 다르다. 예를 들어, 그래프 컨볼루션 네트워크(GCN)는 이웃 특징의 단순한 정규화된 합을 사용하는 반면, 그래프 주의 네트워크(GAT)는 주의 메커니즘을 사용하여 이웃 기여도를 가중한다. 이러한 변형은 GNN이 그래프 구조의 다양한 측면을 포착할 수 있게 한다.
기하학적 딥러닝
GNN은 신경망을 비유클리드 영역으로 일반화하는 것을 목표로 하는 기하학적 딥러닝의 더 넓은 분야의 일부이다. 이 맥락에서, 많은 기존 아키텍처는 적절히 정의된 그래프에서 작동하는 GNN으로 해석될 수 있다. 예를 들어, 컴퓨터 비전의 컨볼루션 신경망 레이어는 노드가 픽셀이고 엣지가 인접 픽셀을 연결하는 그래프에 적용된 GNN으로 볼 수 있다. 마찬가지로, 자연어 처리의 Transformer (architecture) 레이어는 텍스트 구절의 단어나 토큰을 노드로 하는 완전 그래프에 적용된 GNN으로 간주할 수 있다.
이러한 관점은 분야 간 교차 수분을 이끌어 냈다. 주의 메커니즘과 같은 GNN을 위해 개발된 기술은 transformer 아키텍처에 영향을 미쳤고, transformer의 통찰력은 GNN 설계에 정보를 제공했다. 기하학적 딥러닝의 통합된 관점은 Michael Bronstein과 Joan Bruna를 포함한 연구자들에 의해 명확히 표현되었다.
응용 분야
GNN은 다양한 영역에서 응용되고 있다. 분자 생물학과 화학에서는 약물 발견, 단백질 기능 예측, 재료 설계에 사용된다. 예를 들어, GNN은 분자 특성을 예측하거나 원하는 특성을 가진 새로운 분자를 생성할 수 있다. 소셜 네트워크에서는 GNN이 추천 시스템, 커뮤니티 탐지, 링크 예측을 지원한다. 논문이 노드이고 인용이 엣지인 인용 네트워크는 주제 분류와 영향 예측에 GNN의 이점을 얻는다.
물리학에서는 GNN이 입자 상호작용을 모델링하고 동적 시스템을 시뮬레이션한다. 또한 외판원 문제나 그래프 색칠과 같은 NP-난해 조합 최적화 문제에도 적용되어 휴리스틱을 학습할 수 있다. 자연어 처리에서는 GNN이 의미 구문 분석, 관계 추출, 지식 그래프 추론에 사용된다. 또한 컴퓨터 비전에서는 장면 그래프 생성과 포인트 클라우드 처리에 GNN이 활용되고 있다.
소프트웨어 라이브러리
여러 오픈소스 라이브러리가 GNN을 구현하여 연구자와 실무자가 쉽게 접근할 수 있게 한다. PyTorch 기반으로 구축된 PyTorch Geometric은 가장 널리 사용되는 라이브러리 중 하나로, 풍부한 GNN 레이어와 데이터셋을 제공한다. TensorFlow GNN은 TensorFlow 생태계에 유사한 기능을 제공한다. Deep Graph Library(DGL)는 프레임워크에 구애받지 않으며 PyTorch와 TensorFlow를 모두 지원한다. JAX 사용자를 위해 jraph는 GNN 프리미티브를 제공한다. Julia 언어에서는 GraphNeuralNetworks.jl과 GeometricFlux.jl이 GNN 구현을 제공한다.
이러한 라이브러리는 메시지 전달, 풀링, 읽기 작업의 효율적인 구현을 제공하여 GNN 연구와 배포를 가속화했다. 또한 대규모 그래프 학습에 필수적인 배칭 및 데이터 로딩과 같은 그래프 데이터 처리 유틸리티도 포함한다.
과제와 미래 방향
성공에도 불구하고 GNN은 여러 과제에 직면해 있다. 주요 문제 중 하나는 확장성으로, 대규모 그래프에 대한 메시지 전달은 계산 비용이 많이 들 수 있다. 그래프 샘플링과 미니 배치 학습과 같은 기술이 이를 해결하기 위해 개발되었다. 또 다른 과제는 과평활화(oversmoothing)로, 반복적인 메시지 전달로 인해 노드 표현이 구별 불가능해져 GNN의 깊이가 제한된다.
표현력도 또 다른 활발한 연구 영역이다. 표준 GNN은 Weisfeiler-Lehman 테스트에 의해 제한되므로, 연구자들은 고차 GNN, 그래프 transformer, 단순 복합체 또는 하이퍼그래프에서 작동하는 아키텍처를 탐구해 왔다. 이러한 접근 방식은 더 복잡한 구조 정보를 포착하는 것을 목표로 한다. 2022년 현재, 메시지 전달이 지배적인 패러다임으로 남을지 여부는 열린 질문이며, 증강 메시지 전달과 대체 프리미티브에 대한 지속적인 연구가 진행 중이다.
해석 가능성과 견고성도 중요하다. GNN이 무엇을 학습하는지 이해하고 그래프에 대한 적대적 공격에 견고하게 만드는 것은 활발한 연구 주제이다. GNN이 의료 및 자율 시스템과 같은 고위험 영역에 점점 더 배포됨에 따라, 이러한 과제를 해결하는 것은 더 넓은 채택에 중요할 것이다.