Visual Genome은 시각적 이해와 자연어를 연결하도록 설계된 대규모 데이터셋이다. 이 데이터셋은 108,000개 이상의 이미지를 포함하며, 각 이미지는 조밀한 지역 설명, 객체, 속성, 관계로 주석이 달려 있다. 이 데이터셋은 이미지 내 객체 간의 복잡한 상호작용을 추론할 수 있는 머신러닝 모델을 개발하기 위해 만들어졌으며, 단순한 객체 인식을 넘어 보다 포괄적인 장면 이해를 지향한다. Visual Genome은 2016년 스탠퍼드 대학교와 토론토 대학교의 연구자들에 의해 소개되었으며, 여기에는 Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, Li-Jia Li, David A. Shamma, Michael S. Bernstein, Li Fei-Fei가 포함된다.
Visual Genome의 주요 목표는 이미지에 대한 질문에 답하고, 설명적인 캡션을 생성하며, 시각적 추론을 수행할 수 있는 인공지능 시스템 개발을 지원하는 자원을 제공하는 것이다. 단일 객체 분류나 단순 캡셔닝에 초점을 맞춘 데이터셋과 달리, Visual Genome은 이미지 내용의 구조화된 표현을 제공한다. 각 이미지는 평균 35개의 객체, 26개의 속성, 21개의 객체 간 쌍별 관계로 주석이 달려 있다. 이러한 주석은 장면 그래프(scene graph)로 구성되며, 여기서 노드는 객체를 나타내고 엣지는 "타고 있다", "입고 있다", "옆에 있다"와 같은 관계를 나타낸다. 이 구조를 통해 알고리즘은 이미지를 질의하고 조작할 수 있는 의미론적 표현으로 구문 분석할 수 있다.
데이터셋 구조 및 주석 과정
데이터셋은 여러 핵심 구성 요소로 이루어져 있다: 지역 설명, 객체, 속성, 관계, 질문-답변 쌍. 지역 설명은 이미지의 특정 영역을 설명하는 짧은 자연어 문장이다. 객체는 해당 이름이 있는 레이블링된 경계 상자이며, 속성은 색상, 크기, 모양과 같은 특성을 설명한다. 관계는 "남자가 서핑보드를 들고 있다"와 같은 술어로 두 객체를 연결한다. 또한 Visual Genome에는 시각적 질문 답변 시스템 훈련에 사용되는 170만 개 이상의 질문-답변 쌍이 포함되어 있다. 주석 과정은 일관성을 보장하기 위해 상세한 지침을 받은 크라우드소싱 작업자에 의해 수행되었다. 각 이미지는 여러 작업자에 의해 주석이 달렸으며, 결과는 품질을 유지하기 위해 집계되고 필터링되었다. 또한 데이터셋에는 더 조밀하게 연결된 지역 그래프가 있는 80,000개의 이미지 세트가 포함되어 있어 복잡한 모델 훈련을 위한 더 풍부한 소스를 제공한다.
머신러닝에서의 응용
Visual Genome은 컴퓨터 비전 및 머신러닝 작업의 표준 벤치마크가 되었다. 장면 그래프 생성은 이미지에서 객체와 그 관계를 예측하는 작업으로, 이 데이터셋에서 널리 훈련되고 평가된다. 또한 시각적 질문 답변, 이미지 캡셔닝, 지시 표현 이해와 같은 작업도 지원하며, 여기서 모델은 자연어 구로 설명된 객체를 찾아야 한다. 이 데이터셋의 구조화된 주석은 시각적 및 텍스트 정보를 결합하는 신경망 아키텍처 연구를 발전시키는 데 중요한 역할을 했다. 예를 들어, 트랜스포머 기반 모델과 같은 최신 아키텍처는 Visual Genome에서 훈련되어 언어를 시각적 내용에 정박시키는 능력을 향상시켰다. 연구자들은 또한 이 데이터셋을 사용하여 알려진 객체와 관계의 새로운 조합을 이해해야 하는 구성적 일반화를 연구했다.
영향 및 한계
출시 이후 Visual Genome은 Open Images 데이터셋 및 COCO 데이터셋의 확장된 주석과 같은 후속 데이터셋의 설계에 영향을 미쳤다. 또한 임베디드 AI 및 로봇공학을 위한 보다 포괄적인 벤치마크를 만들기 위해 다른 자원과 함께 사용되었다. 그러나 이 데이터셋에는 알려진 한계가 있다. 주석은 일반적인 객체와 일상적인 장면에 편향되어 있어, 드물거나 특이한 객체에 대해서는 모델 성능이 저하될 수 있다. 크라우드소싱 주석의 특성상 노이즈가 도입될 수 있으며, 일부 관계는 모호하거나 일관되지 않게 레이블링될 수 있다. 또한 데이터셋은 정적이어서 폐색된 객체가 많은 실내 공간이나 조명 조건이 다양한 야외 장면과 같은 실제 환경의 다양성을 완전히 반영하지 못한다. 연구자들은 데이터 정리 방법을 개발하거나 시뮬레이션의 합성 데이터와 결합하여 이러한 문제를 해결해 왔다.
다른 AI 자원과의 관계
Visual Genome은 딥러닝 발전을 주도한 더 넓은 데이터셋 및 모델 생태계의 일부이다. 객체 분류에 초점을 맞춘 ImageNet 및 인스턴스 분할과 캡셔닝을 제공하는 MS COCO와 같은 데이터셋을 보완한다. Visual Genome이 도입한 장면 그래프 표현은 Scene Graph Benchmark 및 GQA 데이터셋과 같은 다른 프로젝트에서 채택되었으며,后者는 보다 복잡한 질문으로 시각적 추론에 중점을 둔다. 현대 AI의 맥락에서 Visual Genome은 트랜스포머 아키텍처를 기반으로 구축된 비전-언어 모델을 사전 훈련하는 데 사용되었다. 이러한 모델은 Google DeepMind, OpenAI, Anthropic과 같은 조직에 의해 개발되었지만, Visual Genome 자체는 상업적 제품이 아닌 학술 자원이다. 이 데이터셋은 연구 목적으로 무료로 제공되며 전용 웹사이트에서 호스팅되어 주석을 다운로드하고 시각화하는 도구를 제공한다.
향후 방향
2020년대 중반 현재, 이 분야는 비디오, 오디오, 텍스트를 이미지와 함께 처리할 수 있는 더 크고 다양한 데이터셋과 다중 모달 모델로 이동하고 있다. Visual Genome은 조밀한 주석과 장면 그래프 표현의 원리를 이해하기 위한 귀중한 자원으로 남아 있다. 연구자들은 퓨샷 학습(소수의 예제로 일반화) 및 제로샷 추론(보지 못한 범주 처리)을 위한 새로운 알고리즘을 개발하기 위해 계속 사용하고 있다. 또한 이 데이터셋은 인과 추론 연구에 영감을 주었으며, 여기서 모델은 무엇이 존재하는지뿐만 아니라 특정 객체가 상호작용하는 이유를 추론해야 한다. 최신 데이터셋이 더 큰 규모나 다양성을 제공할 수 있지만, Visual Genome의 상세한 주석은 시각 장면의 구성적 특성을 연구하고 인간 수준의 시각 지능을 달성하는 데 있어 여전히 독특한 기반을 제공한다.