ImageNet-R - AI Wiki

ImageNet-R은 ImageNet 클래스의 예술적 표현(만화, 회화, 조각)으로 구성된 벤치마크 데이터셋으로, 머신 러닝 모델의 분포 변화에 대한 견고성을 평가하는 데 사용된다.

ImageNet-R은 기계 학습 모델의 분포 변화(distribution shift)에 대한 견고성을 테스트하도록 설계된 벤치마크 데이터셋이다. 이 데이터셋은 원래 ImageNet 데이터셋의 객체 클래스를 예술적으로 재현한 이미지로 구성되며, 만화, 회화, 스케치, 조각과 같은 스타일을 포함한다. 자연 사진을 포함하는 표준 테스트 세트와 달리 ImageNet-R은 모델에 상당한 시각적 도메인 변화를 제시하여 훈련 분포를 넘어 일반화하는 능력에 도전한다. 이 데이터셋은 익숙한 객체의 비정형적 표현에 직면했을 때 심층 신경망의 취약성을 드러내기 위해 도입되었다.

ImageNet-R의 주요 목적은 분포 변화 견고성을 평가하는 도구로 사용되는 것이다. 기계 학습에서 모델은 자연 이미지를 포함하는 ImageNet과 같은 대규모 데이터셋에서 훈련되는 경우가 많다. 그러나 실제 응용 프로그램에서는 스타일, 질감 또는 맥락이 다른 이미지를 자주 접하게 된다. ImageNet-R은 입력 도메인이 변경될 때 모델이 분류 정확도를 얼마나 잘 유지하는지 측정할 수 있는 통제된 환경을 제공한다. 이는 견고한 심층 학습 분야에서 표준 벤치마크가 되었으며, ImageNet-C(손상) 및 ImageNet-A(적대적 예제)와 같은 다른 데이터셋을 보완한다.

구성 및 구조

ImageNet-R은 2020년 Hendrycks 등에 의해 만들어졌다. 이 데이터셋은 200개의 ImageNet 클래스에 걸쳐 30,000개의 이미지를 포함하며, 각 클래스는 약 150개의 이미지를 가진다. 이미지는 다양한 온라인 저장소에서 수집되었으며 다양한 예술적 스타일을 나타내도록 선별되었다. 200개 클래스는 원래 1,000개 ImageNet 클래스의 하위 집합으로, 동물, 차량, 일상 용품과 같이 예술에서 명확한 시각적 대응물을 가진 범주를 포함하도록 선택되었다. 렌디션에는 수채화, 유화, 클립 아트, 3D 렌더링 등이 포함된다. 이러한 다양성은 데이터셋이 추상적 표현에서 더 사실적이지만 양식화된 묘사에 이르기까지 광범위한 시각적 변환을 포착하도록 보장한다.

평가 및 지표

ImageNet-R에서 모델을 평가할 때 표준 지표는 top-1 분류 정확도이다. 이 데이터셋은 일반적으로 테스트 세트로 사용되며, 모델은 표준 ImageNet 또는 기타 자연 이미지 데이터셋에서 훈련된다. 초기 실험의 주요 발견은 잔차 네트워크 아키텍처를 기반으로 한 모델을 포함한 많은 최첨단 모델이 표준 ImageNet 검증 세트에 비해 ImageNet-R에서 정확도가 크게 떨어진다는 것이다. 예를 들어, ImageNet에서 훈련된 ResNet-50은 자연 이미지에서 약 76%의 top-1 정확도를 달성할 수 있지만 ImageNet-R에서는 약 36%에 불과하다. 이러한 성능 격차는 분포 변화의 어려움을 강조한다. 이후 연구는 데이터 증강 전략 및 견고성 인식 손실 함수와 같은 훈련 기술을 개발하여 이 벤치마크의 성능을 개선하는 데 초점을 맞추었다.

다른 견고성 벤치마크와의 관계

ImageNet-R은 모델 견고성의 다양한 측면을 조사하는 벤치마크 계열의 일부이다. ImageNet-C는 노이즈 및 블러와 같은 합성 손상을 도입하는 반면, ImageNet-R은 자연스러운 스타일 변형에 초점을 맞춘다. 반면 ImageNet-A는 표준 모델에 의해 종종 오분류되는 자연 발생 적대적 예제를 포함한다. 함께, 이러한 데이터셋은 모델이 분포 외 데이터를 처리하는 능력에 대한 포괄적인 평가를 제공한다. 인공 지능 안전 및 신뢰성의 맥락에서 ImageNet-R은 예술적 렌디션이 사용자 생성 콘텐츠에서 흔하기 때문에 특히 관련이 있으며, 이러한 입력에서 실패하는 모델은 실제 응용 프로그램에서 덜 신뢰할 수 있을 수 있다.

영향 및 한계

ImageNet-R은 도메인 일반화 및 견고한 표현 학습 분야에서 상당한 연구를 촉발했다. 이는 대조 학습, 자기 지도 사전 훈련, 트랜스포머 기반 비전 모델과 같은 아키텍처 혁신을 포함한 다양한 접근 방식의 효과를 평가하는 데 사용되었다. 그러나 데이터셋에는 한계도 있다. 200개 클래스는 ImageNet의 하위 집합이므로 전체 레이블 공간을 다루지 않는다. 또한 예술적 스타일이 완전하지 않으며, ImageNet-R에서 잘 수행되는 모델도 다른 유형의 분포 변화에서는 여전히 실패할 수 있다. 2024년 현재 ImageNet-R은 널리 인용되는 벤치마크로 남아 있지만, 연구자들은 견고성의 경계를 넓히기 위해 더 다양하고 도전적인 데이터셋을 점점 더 개발하고 있다.

같이 보기

참고 문헌

Hendrycks, D., et al. (2020). The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization. arXiv preprint.
Hendrycks, D., & Dietterich, T. (2019). Benchmarking Neural Network Robustness to Common Corruptions and Perturbations. ICLR.

외부 링크

ImageNet-R 공식 저장소 (정책상 링크 없음)