STL-10은 비지도 학습 및 자기 지도 학습 연구를 지원하기 위해 만들어진 벤치마크 이미지 데이터셋이다. 이 데이터셋은 비교적 적은 수의 레이블된 예시(총 13,000개)와 함께 대규모의 레이블되지 않은 이미지(100,000개)를 포함한다는 점에서 주목할 만하다. 이러한 설계는 알고리즘이 레이블된 하위 집합에서 미세 조정되기 전에 레이블되지 않은 데이터를 활용하여 유용한 시각적 특징을 학습하도록 장려하며, 레이블된 데이터는 부족하지만 레이블되지 않은 데이터는 풍부한 실제 시나리오를 반영한다.
이 데이터셋은 비행기, 새, 자동차, 고양이, 사슴, 개, 말, 원숭이, 배, 트럭의 10개 클래스로 구성된다. 각 레이블된 클래스에는 1,300개의 샘플이 포함되어 있으며, 이는 훈련용 500개, 테스트용 500개, 검증용 300개로 나뉜다(이 분할은 모든 연구자가 일반적으로 사용하는 것은 아니며, 종종 훈련 및 검증 세트를 결합하기도 한다). 각 이미지는 RGB 색상의 96x96 픽셀이다. 레이블되지 않은 부분은 레이블된 세트에 없는 일부를 포함한 훨씬 더 광범위한 동물 및 차량 범주에서 가져온 것으로, 비지도 학습에 더 큰 과제를 제공하며 모든 이미지는 ImageNet과 유사한 분포에서 가져온 것이다.
역사와 기원
STL-10은 2011년 스탠포드 대학(특히 스탠포드 AI 연구소)의 Adam Coates, Honglak Lee, Andrew Y. Ng가 딥 러닝 및 특징 추출 연구의 일환으로 소개했다. '단일 레이어 네트워크의 비지도 특징 학습 분석'이라는 논문에서 이 데이터셋을 공식적으로 발표했다. 이 데이터셋의 목표는 대규모 계산 리소스를 요구하지 않으면서 비지도 특징 학습 알고리즘을 평가할 수 있는 작지만 현실적인 벤치마크를 제공하는 것이었다. 96x96 픽셀은 빠른 실험에 충분히 작지만 CIFAR-10의 32x32 이미지보다는 높은 해상도이기 때문이다.
이 데이터셋의 설계는 레이블되지 않은 데이터에서 표현을 학습하는 머신 러닝 및 딥 러닝, 특히 신경망 아키텍처 연구를 직접적으로 지원한다. 이 데이터셋의 생성은 같은 그룹이 CIFAR-10 및 CIFAR-100 데이터셋에 대해 수행한 이전 작업을 따랐지만, STL-10은 특히 값비싼 인간 레이블링의 필요성을 줄이기 위해 레이블되지 않은 대안의 사용을 강조한다.
딥 러닝 연구와의 관계
STL-10은 오토인코더, 제한된 볼츠만 머신, 그리고 이후의 대조 학습 접근법과 같은 사전 훈련 방법을 평가하는 데 특히 인공 지능 연구의 표준 벤치마크가 되었다. 2010년대 후반과 2020년대 초반에 자기 지도 학습이 인기를 얻으면서 STL-10은 자주 사용되는 평가 과제로 남았다. 100,000개의 레이블되지 않은 이미지는 ImageNet과 같은 대규모 레이블되지 않은 데이터셋의 이상적인 대용 역할을 하지만, 공간 크기가 관리하기 쉽고 범주 수가 다루기 쉬운 수준이다.
레이블된 데이터가 매우 제한적이기 때문에(클래스당 훈련 500개) 이 데이터셋은 알고리즘이 레이블되지 않은 풀을 효과적으로 사용하도록 강제하며, 이는 특징 학습의 엄격한 테스트가 된다. STL-10에서 높은 정확도를 달성하는 모델은 일반적으로 강력한 일반화를 입증하므로 학술 비교의 유효한 대상으로 남아 있다. 이 데이터셋은 OpenAI 또는 Google DeepMind와 같은 그룹의 아키텍처 발전과 함께 저비용 환경에서 새로운 방법을 테스트하는 데 자주 사용된다.
데이터 구성 및 접근
STL-10은 레이블(0-9)의 ASCII 목록과 함께 일련의 바이너리 파일로 배포된다. 게시 이후 TensorFlow 및 PyTorch 데이터셋과 같은 여러 라이브러리에 통합되는 등 다양한 형태로 준비되어 직접 사용할 수 있다. 레이블되지 않은 세트에는 10개의 레이블된 클래스보다 훨씬 더 많은 클래스가 포함되어 있지만 공식 문서에서는 정확한 범주 이름을 제공하지 않는다. 해당 이미지는 더 큰 ImageNet 세트의 샘플로, 주석에 따르면 더 넓은 동물 및 장면 분포를 나타낸다.
실용적인 장점 중 하나는 다운로드나 라이선스가 필요 없다는 점이다. 스탠포드의 원본 호스팅(다른 대학의 미러 포함)은 연구 목적으로 무료 접근을 제공한다. 2020년대에도 학술 논문에서 비교의 공통 주제로 남아 있지만, 파일 크기가 더 크기 때문에(불균형 약 1.5GB 대 약 170MB) CIFAR-10보다는 덜 인기가 있다.
자기 지도 학습에서의 사용
비전용 Transformer (architecture) 아키텍처(예: ViT) 시대에 STL-10은 자기 지도 사전 훈련을 위한 평가 스위트로 여전히 관련성이 있다. SimCLR, BYOL, DINO와 같은 방법은 STL-10에서 테스트하여 작은 레이블된 세트에서 지도 기준선과 성능을 비교했다. 이 데이터셋은 비지도 사전 훈련이 큰 이점을 얻을 수 있는 정확한 시나리오를 제공한다: 100k 레이블되지 않은 이미지 대 5k 훈련 이미지(하지만 더 높은 해상도의 이미지).
또한 STL-10은 분류뿐만 아니라 학습된 특징에 대한 선형 프로빙 또는 KNN 분류와 같은 표현 학습 품질을 위한 새로운 기술을 벤치마킹하는 데 자주 사용된다. (CIFAR-10의 50k와 비교하여) 훨씬 더 큰 레이블되지 않은 풀은 레이블되지 않은 예시 수에 대한 민감도를 보여주며 더 큰 데이터셋으로의 알고리즘 확장성을 테스트할 수 있게 한다. ImageNet(1.28M)과 같은 이전의 현대 벤치마크가 주요 대상으로 대체되었지만 STL-10은 계산 효율성으로 인해 여전히 가치가 있다.
한계와 유산
2010년대 초반의 데이터셋과 마찬가지로 STL-10에는 몇 가지 단점이 있다. 96픽셀 해상도는 비교적 중간 수준이며 ImageNet의 다양한 해상도만큼 높지 않지만 이미지 다양성은 부족하다. 레이블된 클래스는 10개로 제한되어 알고리즘이 해당 범주 내에서 세분화된 인식 작업을 수행하도록 강제한다. 레이블되지 않은 세트의 내용은 레이블된 세트와 완전히 분리되지 않지만 실험 설계에서 알 수 있듯이 레이블되지 않은 동일한 클래스(동물)의 이미지를 포함할 수 있다.
그럼에도 불구하고 이 데이터셋의 출시는 현대 방법의 발전에 기여했다. 강력하지만 작은 레이블된 세트와 대규모 레이블되지 않은 풀의 조합은 이후 약한 지도 학습에 대한 관심을 예고했다. 버클리 AI 연구 및 MIT 컴퓨터 과학과 같은 연구소의 인공 지능 분야의 많은 주요 발전은 비지도 특징 추출에 관한 논문에서 이 데이터셋을 사용했으며, 이는 비전 벤치마크에서 지속적인 영향을 나타낸다. STL-10은 또한 학술 컨퍼런스에서 표준 작업에 대한 간결한 진전을 보여주기 위해 자주 사용된다. 2023년 현재, 이 데이터셋은 딥 러닝 과정의 표준 강의 예시이자 다양한 라이브러리 문서의 안정적인 참조 자료로 남아 있다.