Open Images는 컴퓨터 비전과 머신 러닝 연구를 발전시키기 위해 설계된 대규모 데이터셋이다. 이 데이터셋은 풍부한 레이블, 객체 경계 상자, 시각적 관계 정보로 주석이 달린 방대한 이미지 모음을 제공한다. 이 데이터셋은 객체 탐지, 이미지 분류, 시각적 관계 이해와 같은 작업에서 모델을 훈련하고 평가하는 데 널리 사용된다. 그 규모와 다양성 덕분에 인공지능 및 딥러닝 분야의 기초 자원으로 자리 잡았다.
Open Images는 2016년 Google에 의해 소개되었으며 여러 주요 버전을 거쳤다. 이 데이터셋은 완전한 버전에서 900만 개 이상의 이미지를 포함하는 크기로 유명하며, 수천 개의 객체 클래스를 포괄하는 주석을 제공한다. 주석은 자동화된 방법과 인간 검증의 조합으로 생성되어 규모와 품질 사이의 균형을 보장한다. 데이터셋은 훈련 분할, 검증 분할, 테스트 분할을 포함하여 모델의 표준화된 벤치마킹을 가능하게 한다.
데이터셋 구조 및 주석
Open Images 데이터셋은 여러 유형의 주석을 제공한다. 주요 주석은 이미지 수준 레이블로, 각 이미지에 특정 객체나 개념의 존재를 나타내는 클래스 레이블 집합이 연결된다. 또한 데이터셋은 객체의 경계 상자를 포함하며, 이는 이미지 내 객체 인스턴스를 국소화하는 축 정렬 사각형이다. 이러한 경계 상자는 이미지의 일부에 제공되어 객체 탐지와 같은 작업을 가능하게 한다. 더 나아가 데이터셋은 "개가 스케이트보드 위에 있음" 또는 "사람이 우산을 들고 있음"과 같은 객체 간의 쌍별 관계를 설명하는 시각적 관계 주석을 포함한다. 이러한 관계는 주어-술어-목적어 삼중 구조로 구성되어 장면 이해 연구를 촉진한다.
주석은 클래스의 계층적 분류 체계로 구성되어 조대한 수준에서 세밀한 수준으로의 범주화를 허용한다. 데이터셋은 또한 특정 클래스가 이미지에 없음을 나타내는 "부정" 레이블 집합을 포함하며, 이는 부정 예제로 분류기를 훈련하는 데 유용하다. 경계 상자는 이미지 차원에 상대적인 좌표로 정규화된 형식으로 제공되어 표준 딥 러닝 프레임워크와 쉽게 사용할 수 있다.
버전 및 진화
Open Images는 여러 버전으로 출시되었다. 2016년의 초기 출시는 이미지 수준 레이블이 있는 약 900만 개의 이미지를 포함했다. 이후 버전인 Open Images v4는 데이터셋을 19,957개 클래스에 걸친 3,000만 개의 이미지 수준 레이블로 확장하고 600개 클래스에 대한 174만 개의 경계 상자를 추가했다. 가장 최근의 주요 버전인 Open Images v6는 경계 상자 수를 600개 클래스에 대해 1,200만 개 이상으로 늘리고 시각적 관계 주석을 추가했다. 각 버전에는 데이터셋 구성과 통계를 설명하는 상세한 논문이 함께 제공되었다.
데이터셋은 다양한 출처와 도메인의 이미지를 포함하는 다양성에 초점을 맞춰 큐레이션되었다. 이미지는 크리에이티브 커먼즈 라이선스 하에 Flickr에서 가져와 연구 목적의 법적 사용 가능성을 보장한다. 주석 과정은 머신 러닝 모델과 인간 주석자의 조합을 포함하며, 정확성을 보장하기 위한 품질 관리 메커니즘이 적용되었다.
연구 및 산업에서의 사용
Open Images는 컴퓨터 비전의 표준 벤치마크가 되었다. 이는 잔차 네트워크 아키텍처 기반의 객체 탐지 모델을 훈련하고 성능을 평가하는 데 자주 사용된다. 데이터셋의 대규모와 다양한 주석은 배치 정규화 및 데이터 증강과 같은 기술을 활용하여 수백만 개의 매개변수를 가진 모델을 훈련하는 데 적합하다. 연구자들은 Open Images를 사용하여 COCO와 같은 다른 데이터셋에 잘 일반화되는 모델을 개발했으며, 이는 객체와 장면의 다양성 덕분이다.
산업에서 Open Images는 자율 주행, 로봇 공학, 콘텐츠 조정과 같은 응용 분야를 위한 비전 시스템을 구축하는 데 기업들이 사용한다. 예를 들어, 웨이모와 테슬라 오토파일럿은 대규모 데이터셋의 이점을 활용하는 인식 시스템을 개발했지만, 종종 독점 데이터도 사용한다. 데이터셋은 또한 스탠퍼드 AI 연구소 및 MIT CSAIL과 같은 기관의 학술 연구에서 머신 러닝의 새로운 방법을 탐구하는 데 사용된다.
과제 및 한계
그 규모에도 불구하고 Open Images에는 특정 한계가 있다. 주석은 완전하지 않으며, 이미지의 많은 객체가 레이블되지 않을 수 있어 훈련 중 거짓 음성을 초래할 수 있다. 경계 상자는 일부 클래스에 대해서만 제공되며 시각적 관계 주석은 희소하다. 또한 데이터셋은 Flickr에서 흔히 발견되는 객체와 장면에 편향되어 있어 모든 실제 세계 분포를 대표하지 않을 수 있다. 연구자들은 이러한 문제를 해결하기 위해 Open Images를 다른 데이터셋과 결합하거나 커리큘럼 학습과 같은 기술을 사용해야 하는 경우가 많다.
또 다른 과제는 이러한 대규모 데이터셋에서 훈련하는 데 드는 계산 비용이다. 모델은 AWS 트레이니엄 또는 구글 클라우드 TPU와 같은 특수 하드웨어를 자주 사용하여 상당한 자원을 필요로 한다. 데이터셋의 크기는 또한 저장 및 I/O 문제를 제기하며, 이는 효율적인 데이터 로딩 파이프라인과 모델 가지치기 기술을 사용하여 모델 크기를 줄임으로써 완화된다.
영향 및 향후 방향
Open Images는 컴퓨터 비전 분야에 상당한 영향을 미쳐 더 정확하고 견고한 모델의 개발을 가능하게 했다. 이는 수천 건의 연구 논문에서 인용되었으며 후속 데이터셋의 설계에 영향을 주었다. 데이터셋은 계속 유지 관리되며 새로운 주석과 클래스를 포함하도록 주기적으로 업데이트된다. 향후 방향은 비디오 데이터를 포함하거나 분할 마스크와 같은 더 세밀한 주석으로 데이터셋을 확장하는 것을 포함할 수 있다. 생성형 AI 분야가 성장함에 따라 Open Images는 이미지를 생성하거나 편집하는 모델을 훈련하는 데 사용될 수도 있지만, 이러한 응용은 윤리적 영향에 대한 신중한 고려가 필요하다.
전반적으로 Open Images는 컴퓨터 비전 연구의 초석 자원으로 남아 있으며, 머신 러닝 모델이 달성할 수 있는 경계를 넓히는 풍부하고 다양한 이미지 집합을 제공한다.