ImageWoof는 컴퓨터 비전 분야의 벤치마크 데이터셋으로, 더 큰 ImageNet 데이터셋의 도전적인 하위 집합으로 만들어졌다. 이 데이터셋은 10개의 개 품종에 속하는 이미지로만 구성되어 있으며, 클래스 간 시각적 유사성이 높은 세분화된 분류 작업을 제공한다. 이 데이터셋은 fast.ai 창립자 제레미 하워드가 표준 ImageNet 하위 집합보다 더 어렵고 현실적인 분류 문제에서 머신러닝 모델의 성능을 평가하기 위해 도입했다.
원래 ImageNet이 1,000개의 다양한 객체 범주를 포함하는 반면, ImageWoof는 단일 상위 범주인 개에 초점을 좁힌다. 포함된 10개 품종은 오스트레일리안 테리어, 보더 테리어, 사모예드, 비글, 시추, 잉글리시 폭스하운드, 로디지안 리지백, 딩고, 골든 리트리버, 올드 잉글리시 쉽독이다. 각 클래스는 약 500개의 훈련 이미지와 50개의 검증 이미지를 포함하며, ImageNet 표준 분할의 클래스 크기를 반영하지만 범주 간 시각적 유사성은 훨씬 높다. 이러한 설계는 모델이 거친 객체 수준의 특징보다 미묘한 질감, 모양, 색상 차이에 의존하도록 강제한다.
ImageWoof의 주요 목적은 Deep learning 아키텍처에 대한 스트레스 테스트 역할을 하는 것이다. 클래스가 매우 유사하기 때문에 ImageNet에서 높은 정확도를 달성한 모델은 ImageWoof에서 상당한 성능 하락을 보이는 경우가 많으며, 이는 판별적 특징을 학습하는 능력의 한계를 드러낸다. 이 데이터셋은 Data Augmentation, Curriculum Learning, Loss Functions에 대한 연구와 Neural network 모델 미세 조정을 위한 실용적인 튜토리얼에서 자주 사용된다. 또한 이 데이터셋은 더 넓은 fast.ai 강의 자료의 일부로, 전이 학습과 점진적 크기 조정 기법을 가르치는 데 활용된다.
데이터셋 구조 및 접근
ImageWoof는 JPEG 이미지 세트로 배포되며, 각 품종별 하위 폴더가 있는 훈련 및 검증 폴더로 구성된다. 전체 데이터셋은 약 1.5GB 크기이다. fast.ai 웹사이트에서 다운로드할 수 있으며 학술 저장소에도 미러링되어 있다. 등록이 필요한 일부 데이터셋과 달리 ImageWoof는 연구 및 교육 목적으로 자유롭게 접근할 수 있다. 이미지는 원래 ImageNet 컬렉션에서 가져왔지만 선택된 10개 품종에 속하는 것만 유지된다. 이는 클래스 수 기준으로 약 100배 작기 때문에 계산 자원이 제한된 실험에서 ImageNet의 편리한 대체재 역할을 한다.
벤치마킹 및 모델 성능
ImageWoof는 Machine learning 커뮤니티에서 표준 벤치마크가 되었다. 일반적인 결과에 따르면 잘 조정된 Residual Network (ResNet)(ResNet-50)은 ImageNet에서 약 90%의 top-1 정확도를 달성하지만 ImageWoof에서는 훈련 기법에 따라 약 70-75%에 그친다. EfficientNet 및 비전 트랜스포머와 같은 최신 아키텍처는 정확도를 더 높였지만 ImageNet과 ImageWoof 간의 격차는 여전히 분석의 대상이다. 이 데이터셋은 Batch Normalization, Dropout, Weight Initialization 기법의 효과를 평가하는 데 자주 사용되는데, 이러한 기법은 세분화된 작업에서 큰 영향을 미칠 수 있기 때문이다. 연구자들은 또한 대형 모델의 중복 매개변수가 유사한 품종을 구별할 때 덜 유용할 수 있으므로 Model Pruning 방법을 테스트하는 데 ImageWoof를 사용한다.
다른 데이터셋과의 관계
ImageWoof는 특정 과제를 위해 만들어진 ImageNet 하위 집합 계열의 일부이다. 자매 데이터셋인 ImageNette는 쉽게 구별할 수 있는 10개 클래스(예: 텐치, 잉글리시 스프링거, 카세트 플레이어, 체인 톱)를 포함하며 모델 구현의 온전성 검사 역할을 한다. 반면 ImageWoof는 어렵게 설계되었다. 또 다른 관련 데이터셋인 ImageFoof는 10개의 음식 클래스를 포함하며 난이도에서 중간 지점을 제공한다. 이러한 데이터셋을 함께 사용하면 연구자들이 전체 ImageNet의 계산 비용 없이 클래스 유사성이 모델 성능에 미치는 영향을 분리할 수 있다. 특히 교육 환경에서 인기가 높으며, 학생들이 단일 GPU에서 몇 시간 안에 실험을 실행할 수 있다.
연구 및 교육에서의 실용적 사용
학술 연구에서 ImageWoof는 새로운 Learning Rate Scheduling 전략과 Adam (Optimizer) 및 Stochastic Gradient Descent Variants와 같은 옵티마이저 변형을 위한 테스트베드로 자주 사용된다. 데이터셋이 작기 때문에 연구자들은 하이퍼파라미터를 빠르게 반복할 수 있다. 또한 ImageNet에서 사전 훈련된 모델을 ImageWoof에 미세 조정하는 Transfer learning 연구에서도 일반적인 선택이다. 이 데이터셋을 대중화한 fast.ai 라이브러리는 몇 줄의 코드로 ImageWoof를 다운로드하고 로드하는 기본 지원을 포함한다. 이러한 사용 용이성은 Artificial intelligence 및 컴퓨터 비전 대학 과정에서의 채택에 기여했다. GitHub 및 Kaggle과 같은 플랫폼의 많은 튜토리얼은 Gradient Clipping 및 Layer Normalization과 같은 기법을 시연하는 데 ImageWoof를 사용한다.
한계 및 비판
일부 연구자들은 ImageWoof가 다른 ImageNet 하위 집합과 마찬가지로 원본 데이터셋의 편향을 상속한다고 지적하는데, 여기에는 잠재적인 오라벨링과 이미지 선택의 문화적 편향이 포함된다. 또한 데이터셋은 10개 품종으로 제한되어 있어 실제 세계의 개 외모 다양성을 완전히 대표하지 못할 수 있다. 그러나 의도된 목적, 즉 도전적이지만 다루기 쉬운 벤치마크를 제공하는 측면에서 여전히 가치 있는 도구이다. 2020년대 중반 현재 ImageWoof는 세분화된 시각 인식에 관한 논문에서 계속 인용되고 있으며, 단순성과 확립된 기준 결과 덕분에 곧 대체될 가능성은 낮다.