ImageNet-Sketch는 2019년에 도입된 벤치마크 데이터셋으로, 머신러닝 모델의 교차 도메인 일반화(cross-domain generalization)를 평가하기 위해 설계되었다. 이 데이터셋은 원본 ImageNet 데이터셋의 1,000개 클래스 각각에 대해 50개의 이미지로 구성된 총 50,000개의 흑백 스케치 이미지를 포함한다. 스케치는 Google의 QuickDraw 프로젝트와 기타 출처에서 수집되었으며, 객체의 양식화되고 추상적인 묘사를 나타내며 자연 사진과는 크게 다르다. 이 데이터셋은 자연 이미지로 훈련된 모델이 스케치를 얼마나 잘 인식할 수 있는지 테스트하기 위해 컴퓨터 비전 연구에서 널리 사용되며, 이는 도메인 이동(domain shift)에 대한 견고성을 요구하는 작업이다.
이 데이터셋은 MIT와 Google의 연구자들에 의해 만들어졌으며, Haotian Wang, Weichao Qiu 등이 저술한 논문 'Learning Robust Representations by Projecting Supervisory Signals'에서 처음 발표되었다. 주요 동기는 훈련 데이터와 동일한 분포를 공유하는 경우가 많은 표준 테스트 세트를 넘어서는 도전적인 평가 세트를 제공하는 것이었다. 사진과 시각적으로 구별되는 스케치를 사용함으로써, ImageNet-Sketch는 모델이 저수준의 질감이나 색상 단서보다는 고수준의 의미론적 특징에 의존하도록 강제한다.
구성 및 구성 요소
ImageNet-Sketch는 총 50,000개의 이미지로 구성되며, 1,000개의 ImageNet 카테고리 각각에 대해 정확히 50개의 스케치가 포함된다. 스케치는 수백만 개의 사용자 그림이 포함된 QuickDraw 데이터셋에서 가져왔으며, ImageNet 클래스 레이블과 일치하도록 필터링되었다. 각 스케치는 흑백 선 그림으로, 일반적으로 단순하고 추상적이며 객체의 본질적인 형태를 포착한다. 이 데이터셋은 의도적으로 색상과 질감 정보를 배제하여 형태 기반 인식의 순수한 테스트가 되도록 한다.
구성 과정은 QuickDraw 카테고리를 ImageNet 시냇말(synset)과 일치시키고, 대표적이라고 판단되는 스케치의 하위 집합을 선택하는 것을 포함했다. 최종 데이터셋은 공개적으로 다운로드할 수 있으며, 이 분야의 표준 벤치마크가 되었다. 연구자들은 종종 ImageNet-C 또는 ImageNet-A와 같은 다른 데이터셋과 함께 사용하여 다양한 유형의 분포 이동에 대한 견고성을 평가한다.
모델 평가에서의 사용
ImageNet-Sketch는 주로 딥러닝 모델, 특히 합성곱 신경망과 최근의 트랜스포머 기반 아키텍처의 교차 도메인 일반화를 평가하는 데 사용된다. 모델이 ImageNet(자연 이미지)에서 훈련되고 ImageNet-Sketch에서 테스트될 때, 성능 저하는 모델이 전이 가능한 특징을 얼마나 잘 학습했는지를 나타낸다. 질감이나 배경 단서에 크게 의존하는 모델은 성능이 낮은 경향이 있는 반면, 형태와 구조를 포착하는 모델은 더 나은 성능을 보인다.
예를 들어, ResNet 모델과 비전 트랜스포머는 이 벤치마크에서 평가되었다. 연구에 따르면 비전 트랜스포머는 전역 주의 메커니즘 덕분에 스케치 인식에서 합성곱 신경망보다 더 나은 성능을 보이는 경우가 많다. 이 데이터셋은 또한 데이터 증강 연구에서 사용되며, 스타일 전송이나 적대적 훈련과 같은 기법이 도메인 이동에 대한 견고성을 향상시키는 능력을 테스트한다.
다른 벤치마크와의 관계
ImageNet-Sketch는 ImageNet-C(손상), ImageNet-A(적대적 예제), ImageNet-R(렌디션)을 포함하는 견고성 벤치마크 계열의 일부이다. ImageNet-C가 자연 이미지에 합성 손상을 적용하는 반면, ImageNet-Sketch는 완전히 다른 시각적 스타일을 제공한다. 이는 모델 일반화를 평가하기 위한 보완적인 테스트가 된다. 이 데이터셋은 리더보드와 연구 논문에서 원본 ImageNet 검증 세트의 정확도와 함께 견고성 지표를 보고하는 데 자주 사용된다.
이 데이터셋은 또한 신경망의 '질감 편향(texture bias)' 현상을 연구하는 데 사용되었으며, 여기서 모델은 전역 형태보다는 지역 질감 패턴에 의존하는 경향이 있다. 질감이 없는 스케치를 제시함으로써, ImageNet-Sketch는 이러한 편향을 드러내고 더 형태를 인식하는 모델의 개발을 장려한다.
한계 및 비판
ImageNet-Sketch의 한계 중 하나는 스케치가 모든 클래스에 균일하게 분포되어 있지 않다는 점이다. 일부 클래스는 50개보다 많거나 적은 이미지를 가질 수 있지만, 데이터셋은 균형을 이루도록 설계되었다. 또한 스케치는 상대적으로 단순하여 실제 세계 스케치의 전체 복잡성을 포착하지 못할 수 있으며, 이는 연구 결과의 일반화 가능성을 제한할 수 있다. 일부 연구자들은 이 데이터셋이 동물이나 일반적인 객체와 같이 스케치하기 쉬운 클래스에 편향되어 있으며, 더 추상적인 클래스는 과소 대표될 수 있다고 지적했다.
이러한 한계에도 불구하고, ImageNet-Sketch는 교차 도메인 성능을 평가하기 위한 귀중한 자원으로 남아 있다. 이는 컴퓨터 비전 문헌에서 널리 인용되며 견고성, 전이 학습, 모델 해석 가능성에 관한 연구에서 계속 사용되고 있다.