지식 그래프 임베딩(KGE)은 지식 표현 학습(KRL) 또는 다중 관계 학습이라고도 불리며, 지식 그래프의 엔티티와 관계의 의미를 보존하면서 저차원 표현을 학습하는 기계 학습 작업이다. 기호 그래프 데이터를 밀집된 수치 벡터로 변환함으로써, KGE는 지식 그래프가 링크 예측, 삼중 분류, 엔티티 인식, 클러스터링, 관계 추출과 같은 다양한 응용 분야에서 사용될 수 있게 한다. 이 접근 방식은 표현 학습의 더 넓은 분야에 속하며, 현대 기계 학습 시스템에서 사용되는 기술과 밀접하게 연관되어 있다.
지식 그래프는 공식적으로 엔티티, 관계, 사실의 집합으로 정의되며, 각 사실은 두 엔티티 간의 링크를 나타내는 삼중(헤드, 관계, 테일)이다. 이 구조는 종종 Resource Description Framework(RDF) 표기법을 사용하여 표현된다. 지식 그래프는 도메인 특정 지식을 구조화된 형태로 나타내며, 정제 후 새로운 지식의 추론을 가능하게 한다. 그러나 실제 응용에서는 데이터 희소성과 계산 비효율성의 문제에 직면한다. KGE는 각 엔티티와 관계를 선택된 차원의 벡터로 임베딩하여 효율적인 계산과 일반화를 가능하게 함으로써 이러한 문제를 해결한다.
지식 그래프의 임베딩은 각 엔티티와 관계를 주어진 차원(임베딩 차원이라고 함)의 벡터로 변환하는 함수이다. 엔티티와 관계를 서로 다른 차원으로 임베딩하는 것도 가능하다. 결과 임베딩 벡터는 이후 다운스트림 작업에 사용될 수 있다. 지식 그래프 임베딩은 네 가지 측면으로 특징지어진다: 표현 공간(엔티티와 관계를 위한 저차원 공간), 점수 함수(삼중 임베딩의 적합성을 측정하는 척도), 인코딩 모델(임베딩된 표현이 어떻게 상호작용하는지), 추가 정보(표현을 풍부하게 하는 추가 그래프 데이터로, 종종 임시 점수 함수를 통해 통합됨).
임베딩 절차
지식 그래프 임베딩을 생성하는 모든 알고리즘은 공통된 접근 방식을 따른다. 먼저, 임베딩 벡터는 임의의 값으로 초기화된다. 그런 다음, 삼중 집합의 훈련 세트를 사용하여 반복적으로 최적화된다. 각 반복에서 훈련 세트에서 삼중 배치가 샘플링되고, 헤드 또는 테일(또는 둘 다)을 다른 엔티티로 대체하여 손상된 삼중이 생성되어 거짓 사실을 만든다. 원본 및 손상된 삼중은 훈련 배치에 추가되고, 점수 함수를 최적화하여 임베딩이 업데이트된다. 반복은 일반적으로 훈련 세트의 과적합에 기반한 중지 조건에 도달할 때까지 계속된다. 마지막에 학습된 임베딩은 훈련 삼중에서 의미적 의미를 추출하고 보이지 않는 실제 사실을 올바르게 예측해야 한다.
일반적인 절차는 의사 코드로 요약될 수 있다. 훈련 세트, 엔티티 집합, 관계 집합, 임베딩 차원이 주어지면, 알고리즘은 임베딩을 무작위로 초기화한다. 중지 조건이 충족되지 않는 동안, 훈련 세트에서 배치를 샘플링한다. 배치의 각 삼중에 대해 손상된 사실을 샘플링하고 원본 및 손상된 삼중을 모두 훈련 배치에 추가한다. 그런 다음, 실제 삼중의 타당성과 손상된 삼중의 타당성을 측정하는 점수 함수를 최소화하도록 임베딩을 업데이트한다.
점수 함수 및 모델
점수 함수는 KGE의 핵심으로, 삼중의 임베딩 표현의 적합성을 평가한다. 다양한 모델은 서로 다른 점수 함수와 인코딩 메커니즘을 제안한다. TransE와 같은 초기 모델은 관계를 임베딩 공간에서의 변환으로 나타내며, 헤드 벡터에 관계 벡터를 더한 것이 테일 벡터에 근사해야 한다. DistMult 및 ComplEx와 같은 다른 모델은 쌍선형 또는 복소수 값 점수 함수를 사용하여 더 풍부한 상호작용을 포착한다. 더 최근의 접근 방식은 신경망 아키텍처를 통합하여 비선형 임베딩을 학습한다. 이러한 모델은 유클리드 공간에서 복소수 또는 쌍곡선 공간에 이르는 표현 공간과 다양한 관계 유형을 처리하는 능력에서 차이가 있다.
인코딩 모델은 엔티티와 관계 임베딩이 어떻게 상호작용하는지 정의한다. 일부 모델은 덧셈 또는 곱셈 상호작용을 사용하는 반면, 다른 모델은 텐서 분해 또는 신경망 계층을 사용한다. 점수 함수와 인코딩 모델의 선택은 임베딩의 표현력과 계산 효율성에 영향을 미친다. 예를 들어, 표현력이 더 높은 모델은 복잡한 관계 패턴을 포착할 수 있지만 더 많은 훈련 데이터와 계산이 필요할 수 있다. 이 분야는 지속적으로 발전해 왔으며, 더 새로운 모델은 엔티티 유형, 텍스트 설명 또는 시간적 제약과 같은 추가 정보를 통합하여 성능을 향상시킨다.
응용 분야
지식 그래프 임베딩은 다양한 응용 분야를 가능하게 한다. 링크 예측은 주요 작업으로, 모델이 엔티티 간의 누락된 링크를 예측하여 불완전한 지식 그래프를 완성하는 데 유용하다. 삼중 분류는 주어진 삼중이 참인지 거짓인지 결정하여 사실 검증을 돕는다. 엔티티 인식 및 클러스터링은 임베딩을 활용하여 유사한 엔티티를 그룹화하거나 텍스트에서 엔티티를 식별한다. 관계 추출은 임베딩을 사용하여 비구조화 데이터에서 엔티티 간의 관계를 식별한다. 이러한 응용 분야는 지식 그래프가 구조화된 사실 정보를 제공하는 대규모 언어 모델 훈련과 지식에 대한 추론이 필요한 생성형 AI 시스템과 같은 영역에서 중요하다.
실제로 KGE는 추천 시스템, 질문 응답, 약물 발견에 적용되어 왔다. 예를 들어, 임베딩은 사용자-아이템 상호작용이나 분자 구조를 나타내어 효율적인 유사성 검색을 가능하게 한다. 저차원 벡터는 또한 표준 기계 학습 파이프라인과 호환되어 다른 모델과의 통합을 허용한다. 2020년대 초반부터 KGE 기술은 Google DeepMind 및 OpenAI와 같은 회사의 산업 시스템에 통합되었으며, 종종 향상된 추론을 위해 트랜스포머 아키텍처와 결합된다.
과제 및 향후 방향
성공에도 불구하고 KGE는 여러 과제에 직면한다. 실제 지식 그래프의 데이터 희소성은 학습된 임베딩의 품질을 제한하며, 많은 엔티티와 관계가 관찰된 삼중이 거의 없기 때문이다. 확장성도 또 다른 문제로, 대규모 그래프 훈련은 상당한 계산 자원을 필요로 한다. 시간적 또는 불확실한 사실과 같은 다중 관계 및 이질적 데이터를 처리하는 것은 여전히 활발한 연구 영역이다. 또한, 임베딩 평가는 표준 벤치마크가 의미 보존의 모든 측면을 포착하지 못할 수 있으므로 사소한 작업이 아니다.
향후 방향에는 더 해석 가능한 임베딩 개발, 외부 지식 소스 통합, 노이즈 데이터에 대한 견고성 향상이 포함된다. 연구는 또한 KGE와 신경망 모델(예: 잔차 네트워크 및 U-Net 아키텍처)의 통합을 탐구하고 있지만, 이러한 모델은 다른 영역에서 더 일반적이다. 데이터 증강 기술과 커리큘럼 학습 전략의 사용은 희소성을 해결하는 데 도움이 될 수 있다. 인공지능 시스템이 더 지식 기반으로 발전함에 따라, KGE는 기계가 구조화된 정보를 이해하고 추론할 수 있게 하는 데 점점 더 중요한 역할을 할 가능성이 높다.