CIFAR-100-C는 일반적인 이미지 손상에 대한 머신러닝 모델의 견고성을 평가하기 위해 설계된 벤치마크 데이터셋이다. 이 데이터셋은 CIFAR-100 테스트 세트에 15가지 유형의 왜곡을 다섯 가지 심각도 수준으로 적용하여 생성한 손상 버전으로 구성된다. 이 데이터셋은 모델이 예상치 못한 입력 변동에 얼마나 잘 일반화되는지 측정하기 위해 견고성 연구에서 널리 사용되며, 표준 정확도 지표를 보완한다.
원본 CIFAR-100 데이터셋은 100개 클래스에 걸친 60,000개의 32x32 컬러 이미지로 구성되며, 50,000개의 훈련 이미지와 10,000개의 테스트 이미지를 포함한다. CIFAR-100-C는 10,000개의 테스트 이미지를 각 심각도 수준에서 각 손상 유형에 적용하여 총 75,000개의 손상된 이미지(15가지 손상 x 5가지 심각도 x 10,000개 이미지)를 생성한다. 손상은 노이즈, 블러, 날씨 효과, 디지털 아티팩트와 같은 실제 세계의 왜곡을 시뮬레이션한다.
손상 유형
15가지 손상 유형은 네 가지 범주로 그룹화된다: 노이즈(가우시안, 샷, 임펄스), 블러(디포커스, 프로스티드, 글래스, 모션, 줌), 날씨(눈, 서리, 안개, 밝기), 디지털(대비, 탄성, 픽셀화, JPEG). 각 손상은 알고리즘적으로 적용되며, 심각도 수준은 1(경미)부터 5(심각)까지 범위를 갖는다. 예를 들어, 가우시안 노이즈는 무작위 픽셀 값을 추가하고, 모션 블러는 카메라 움직임을 시뮬레이션한다. 데이터셋은 표준화된 코드베이스를 사용하여 생성되므로 연구 간 재현성을 보장한다.
견고성 평가에서의 사용
CIFAR-100-C는 신경망 및 기타 머신러닝 모델의 견고성을 측정하는 데 일반적으로 사용된다. 연구자들은 모든 손상과 심각도에 걸친 평균 오류율을 보고하며, 이를 평균 손상 오류(mCE)라고 부른다. 데이터 증강 기법(예: 무작위 자르기 또는 색상 지터)으로 훈련된 모델은 일반적으로 증강 없이 훈련된 모델보다 CIFAR-100-C에서 더 나은 성능을 보인다. 이 벤치마크는 CIFAR-10-C 및 ImageNet-C와 함께 견고성 커뮤니티에서 표준 도구가 되었다.
다른 벤치마크와의 관계
CIFAR-100-C는 2019년 Hendrycks와 Dietterich가 도입한 손상 벤치마크 계열의 일부이며, 여기에는 CIFAR-10-C와 ImageNet-C도 포함된다. 이 데이터셋들은 동일한 손상 유형과 심각도 수준을 공유하므로 데이터셋 간 비교가 가능하다. 이 벤치마크는 종종 적대적 견고성 평가와 함께 사용되지만, 악의적인 변동보다는 자연적인 손상에 초점을 맞춘다. 또한 배치 정규화 및 기타 아키텍처 선택이 견고성에 미치는 영향을 연구하는 데 사용된다.
한계 및 확장
CIFAR-100-C는 널리 사용되지만 한계가 있다. 손상은 합성적이며 실제 세계의 분포 변화를 완전히 포착하지 못할 수 있다. 일부 연구자들은 비디오와 유사한 시퀀스를 위한 시간적 상관 손상을 포함하는 CIFAR-100-P와 같은 확장을 제안했다. 다른 연구자들은 CIFAR-100-C를 사용하여 대규모 언어 모델을 비전 작업에 적용할 때의 견고성을 평가했지만, 이러한 응용은 덜 일반적이다. 이 데이터셋은 특히 소규모 모델과 빠른 실험을 위한 견고성 벤치마킹에서 여전히 귀중한 자원으로 남아 있다.