지식 그래프는 정보의 구조화된 표현으로, 사람, 장소, 조직, 또는 개념과 같은 실세계 개체를 노드로 저장하고 이들 사이의 관계를 라벨이 붙은 엣지로 저장하여, 질의, 탐색, 추론이 가능한 네트워크를 형성한다. 지식 그래프는 Symbolic AI 표현의 더 넓은 전통에 속하며, 검색, 질문 응답, 그리고 현대 생성형 AI 시스템의 기반을 제공하는 핵심 인프라가 되었다.
구조
지식 그래프는 일반적으로 사실을 주어, 술어, 목적어의 삼중항으로 인코딩하며, 예를 들어 "Anthropic, founded in, 2021"과 같다. 이는 종종 허용된 개체 유형과 관계를 정의하는 공식 스키마나 온톨로지를 따른다. 이 구조는 시스템이 "주어진 연도에 설립된 모든 조직 찾기"와 같은 논리적 질의를 수행할 수 있게 하며, 이는 비정형 텍스트만으로는 신뢰성 있게 추출하기 어렵고, 정의된 규칙에 대한 내적 일관성 검사도 가능하게 한다.
역사
지식 그래프의 개념적 뿌리는 1960년대 이후 상징적 AI 연구 내에서 발전한 의미론적 네트워크에 있으며, 이후 1984년에 시작된 Cyc 프로젝트와 같이 수백만 개의 일반상식 사실을 손으로 인코딩한 노력, 그리고 2000년대 초반 팀 버너스리가 제안한 웹 데이터의 기계가독성 표준화 포맷을 목표로 한 시맨틱 웹 이니셔티브에 있다. "지식 그래프"라는 용어 자체는 구글이 2012년 Knowledge Graph 제품을 출시하면서 주류로 사용되기 시작했으며, 이는 인수한 Freebase 데이터베이스와 기타 소스에 기반하여 웹 검색 결과에 수반되는 정보 패널을 구동한다.
Google 지식 그래프와 후속
구글이 용어를 채택한 후, 주요 기술 회사들은 자체 대규모 지식 그래프를 구축했다. 여기에는 Microsoft의 Satori와 Bing 엔티티 그래프, Facebook의 Entity Graph, Amazon의 제품 그래프가 포함되며, 각각 검색, 추천 또는 가상 비서 제품을 구동한다. 오픈 소스, 커뮤니티 유지 변형으로는 위키데이터가 있으며, 2012년 위키백과의 구조화 부수물로 시작되어 연구 및 응용 분야에서 널리 사용되는 무료 지식 그래프 자원이 되었다.
AI 시스템에서의 사용
지식 그래프는 Large language model 시스템 시대에 다시 중요해졌으며, 이러한 시스템은 Hallucination (AI)에 취약하며, 그럴듯하지만 거짓 명령을 내는 경향이 있다. 언어 모델을 지식 그래프와 결합하면 검증된 구조화 사실에 출력을 Grounding (AI)할 수 있는 메커니즘을 제공하며, 이는 관련 부분 구조를 프롬프트 구조로 검색하거나(Retrieval-augmented generation의 변형), 생성된 명령을 그래프와 사후 비교하여 검증하는 방식으로 이루어진다. 지식 그래프는 또한 Semantic search 시스템에서 질의와 개체의 모호성을 해소하고, Vector database에 저장된 밀집 Embedding 기반 검색 방법을 보충하며, 기업 환경에서는 교육 데이터에 포함되지 않은 독점적, 조직 구조적 지식에 접근할 수 있게 한다.
한계
지식 그래프의 구축과 유지에는 많은 노동이 필요하다: 비정형 소스에서 정확한 구조적 사실을 추출하려면 상당한 인적 큐레이션이나 오류가 발생하기 쉬운 자동 추출 과정이 필요하며, 도메인이 지속에 따라 스키마가 오래될 수 있고, 잘 문서화된 도메인 외에는 커버리지가 필연적으로 불완전하다. 이러한 한계는 정확성과 감사 가능성의 상징적 지식 그래프와 신경적 방법의 유연성 및 광범위한 커버리지를 결합하는 하이브리드 접근 방식을 유도했며, 이는 Expert system에서 유래한 명시적 구조적 표현과 Natural language processing 및 Machine learning의 통계적 패턴 학습 사이의 오랜 AI 내 긴장을 반영한다.