Open Images는 컴퓨터 비전 연구를 위해 Google이 만든 대규모 데이터셋이다. 수백만 개의 이미지에 다양한 레이블과 메타데이터가 주석으로 달려 있으며, 머신러닝 모델을 훈련하고 평가하도록 설계되었다. 이 데이터셋은 규모와 다양성으로 유명하며, 일상적인 사물과 장면의 광범위한 범위를 포괄하고, 이미지 수준 레이블, 객체 경계 상자, 시각적 관계 삼중항을 포함한 주석이 제공된다.
Open Images의 첫 번째 버전은 2016년에 출시되었으며, 약 9백만 개의 이미지에 거의 6,000개 범주에 걸친 이미지 수준 레이블이 포함되었다. 이후 버전에서는 데이터셋이 3천만 개 이상의 이미지로 확장되었고, 600개 이상의 클래스에서 객체를 표시하는 1,500만 개 이상의 경계 상자가 추가되었다. 주석은 자동화된 방법과 인간 검증의 조합을 통해 생성되었으며, 이는 인공지능 역량을 발전시키기 위한 대규모 데이터 인프라에 대한 Google의 투자를 반영한다.
데이터셋 구조
Open Images는 여러 컴퓨터 비전 작업을 지원하도록 구조화되어 있다. 핵심 구성 요소는 이미지 컬렉션, 객체 또는 개념의 존재를 나타내는 이미지 수준 레이블, 경계 상자 및 분할 마스크와 같은 지역화된 주석이다. 각 이미지에 대해 데이터셋은 고유 식별자, 원본 URL, 레이블의 예측 신뢰도와 같은 메타데이터를 제공한다. 경계 상자 주석은 표준화된 형식으로 제공되며, 이미지 크기에 상대적인 좌표와 객체 클래스 레이블을 나열한다.
또한 데이터셋에는 "사람이 말을 타다" 또는 "개가 공을 쫓다"와 같은 객체 간 상호작용을 설명하는 시각적 관계 주석 세트가 포함된다. 이러한 관계는 주어-술어-목적어 삼중항으로 형식화된다. 이 더 풍부한 주석 계층은 시각적 인식 및 딥러닝 연구 내에서 활발한 영역인 관계 추론과 장면 이해에 대한 연구를 가능하게 한다.
주석 방법론
Open Images의 생성은 기계 생성 후보와 인간 큐레이션을 결합한 반자동 파이프라인에 의존했다. Google의 내부 시스템은 먼저 기존 이미지 분류기와 웹 규모 데이터 마이닝을 사용하여 노이즈가 있는 레이블 후보를 생성했다. 이러한 후보는 크라우드소싱 플랫폼을 통해 인간 주석자에게 제시되었고, 작업자는 레이블을 검증하거나 수정하고 경계 상자를 개선했다. 이 하이브리드 접근 방식은 데이터셋이 수백만 개의 이미지로 확장되면서도 현대 신경망 훈련에 적합한 품질 수준을 유지할 수 있게 했다.
경계 상자의 경우, 주석자는 대상 클래스의 각 보이는 인스턴스 주위에 가능한 가장 좁은 상자를 그리도록 지시받았다. 최종 주석은 이미지 하위 집합에 대한 여러 주석자 간의 일치 분석을 포함한 일련의 품질 검사를 통해 검증되었다. 그 결과, 데이터셋은 단일 레이블 및 다중 레이블 분류뿐만 아니라 객체 탐지의 벤치마크가 되었다.
연구에 미친 영향
Open Images는 학계와 산업 연구 그룹 모두에서 널리 사용되었다. 이는 2018년과 2019년에 Kaggle에서 개최된 Open Images Challenge를 포함한 여러 공개 벤치마크 대회의 기반이 되었다. 이러한 대회는 수백 개의 참가 팀을 끌어모았고 객체 탐지 및 시각적 관계 탐지의 최첨단을 발전시켰다. 데이터셋은 수천 편의 연구 논문에서 인용되었으며, 대규모 신경망 훈련 및 전이 학습 접근 방식에 영향을 미쳤다.
크고 다양한 레이블이 지정된 데이터셋의 가용성은 실제 세계의 시각적 개념에 기반을 둔 생성형 AI 시스템 개발도 지원했다. Open Images에서 사전 훈련된 모델은 이미지 캡셔닝, 시각적 질문 응답, 자율 주행 인식과 같은 하위 작업에 사용되었다. 데이터셋은 ImageNet 및 COCO와 같은 다른 리소스를 보완하며, 더 넓은 클래스 세트와 일상 이미지의 더 현실적인 분포를 제공한다.
버전 및 가용성
Google은 Creative Commons 라이선스에 따라 Open Images의 여러 버전을 출시하여 연구 및 상업적 사용에 무료로 제공했다. 2018년에 도입된 버전 4는 시각적 관계 주석을 추가하고 이미지 수를 900만 개 이상, 상자 수준 주석을 3천만 개로 확장했다. 2019년에 출시된 버전 5는 경계 상자 클래스 수를 600개로 늘리고 일부 이미지에 대한 분할 마스크를 추가했다. 데이터셋은 Google의 스토리지 인프라를 통해 접근할 수 있으며, 공식 웹사이트의 대화형 시각화 도구를 통해서도 탐색할 수 있다.
모든 파일은 CSV 형식으로 제공되며, 각 주석 유형에 대해 별도의 파일이 있다. 데이터셋에는 2017년 컴퓨터 비전 및 패턴 인식 회의에서 처음 발표된 동반 논문이 있으며, 구축 및 통계를 자세히 설명한다. 프로젝트는 Google Research 팀이 유지 관리하며, 커뮤니티 피드백과 내부 연구 요구에 따라 업데이트가 이루어진다. 2025년 현재, 데이터셋은 대규모 시각적 인식 벤치마크의 표준 참조 지점으로 남아 있다.
한계 및 향후 방향
규모에도 불구하고 Open Images에는 고유한 한계가 있다. 이미지 수준 레이블은 기계 생성 예측에 기반하므로 노이즈를 포함할 수 있으며, 클래스 분포는 웹 이미지에서 발견되는 일반적인 객체에 편향되어 있다. 주석은 주로 객체 존재와 대략적인 관계에 초점을 맞추며, 일부 더 작은 데이터셋에서 사용할 수 있는 세부 속성이나 정밀한 장면 그래프가 부족하다. 연구자들은 종종 Open Images를 다른 소스로 보완하거나 특수 작업에 도메인 적응 기술을 적용한다.
데이터셋의 향후 방향에는 더 광범위한 비디오 주석, 더 풍부한 관계 유형, 텍스트 설명과 같은 다중 모달 데이터의 통합이 포함될 수 있다. Open Images의 성공은 Amazon AI 및 기타 클라우드 제공업체의 유사한 대규모 데이터 수집 노력을 고무시켰으며, 이는 인공지능 발전을 가속화하기 위해 대규모 주석 코퍼스를 접근 가능하게 만드는 더 넓은 추세를 반영한다.