COCO 캡셔닝은 컴퓨터 비전과 자연어 처리 분야의 벤치마크 과제로, 모델이 Microsoft Common Objects in Context(COCO) 데이터셋에서 이미지를 받아 그 내용을 설명하는 자연어 문장을 생성해야 하는 작업이다. 이 과제는 2015년 COCO 데이터셋과 함께 소개되어 알고리즘이 시각적 이해와 언어 생성 간의 연결을 얼마나 잘 수행하는지 평가하기 위해 설계되었다. 이는 비전-언어 모델의 표준 테스트베드가 되었으며, Artificial intelligence 및 Machine learning 분야의 현대 멀티모달 시스템 개발에 영향을 미쳤다.
COCO 데이터셋은 33만 개 이상의 이미지와 250만 개 이상의 레이블링된 인스턴스를 포함하며, 캡셔닝 과제의 경우 각 이미지는 5개의 독립적인 사람이 작성한 캡션과 짝을 이룬다. 벤치마크는 이미지를 훈련, 검증, 테스트 세트로 나누며, 공식 평가는 과적합을 방지하기 위해 공개되지 않은 별도의 테스트 세트를 사용한다. 모델은 생성된 캡션을 5개의 참조 캡션과 자동화된 지표로 비교하여 점수를 매기며, 최종 평가에는 인간 평가가 사용되기도 한다.
평가 지표
COCO 캡셔닝은 생성된 캡션과 인간 참조 간의 중복 및 유사성을 측정하는 여러 자동화된 지표에 의존한다. 가장 일반적으로 보고되는 지표는 BLEU, METEOR, CIDEr이며, 이후 의미적 유사성을 포착하기 위해 SPICE가 추가되었다. BLEU(Bilingual Evaluation Understudy)는 간결성 패널티와 함께 n-그램 정밀도를 계산하며, METEOR는 단어를 정렬하고 동의어와 어간을 고려한다. CIDEr(Consensus-based Image Description Evaluation)는 데이터셋 전체에서 n-그램의 빈도를 기반으로 가중치를 부여하여 정보성 있고 독특한 구문에 더 높은 점수를 준다. SPICE(Semantic Propositional Image Caption Evaluation)는 캡션을 장면 그래프로 파싱하여 객체, 속성, 관계 튜플을 비교한다.
이러한 지표는 일반적인 설명을 선호하고 인간의 판단을 완전히 포착하지 못하는 등 알려진 한계가 있다. 결과적으로 연구 커뮤니티는 특히 정성적 분석과 유사한 자동화 점수를 달성한 모델을 비교할 때 인간 평가도 사용해 왔다. 공식 COCO 평가 서버는 결과를 제출하고 리더보드와 비교할 수 있는 표준화된 플랫폼을 제공한다.
모델 아키텍처
이 과제는 초기 인코더-디코더 프레임워크에서 현대 트랜스포머 기반 시스템으로 모델 아키텍처의 진화를 이끌었다. 초기 접근 방식은 이미지 인코더로 합성곱 신경망(CNN)을 사용했으며, 일반적으로 Residual Network (ResNet)인 ResNet과 같은 사전 훈련된 모델을 사용한 후, 순환 신경망(RNN) 또는 장단기 메모리(LSTM) 디코더로 단어를 순차적으로 생성했다. 이러한 모델은 교차 엔트로피 손실을 사용하여 종단 간 훈련되었으며, 추론 중에는 Beam Search와 같은 기법을 사용하여 출력 품질을 개선했다.
Transformer (architecture) 아키텍처의 부상과 함께 캡셔닝 모델은 이미지용 트랜스포머 인코더와 텍스트용 트랜스포머 디코더를 사용하는 방식으로 전환되었다. Encoder-Decoder Architecture 프레임워크가 표준이 되었으며, CNN에서 추출된 이미지 특징이 Cross-Attention을 통해 해당 특징에 주목하는 트랜스포머 디코더에 의해 처리되었다. 더 최근의 모델은 Multi-Head Attention 메커니즘과 Large language model 백본 기반의 사전 훈련된 비전-언어 모델을 채택하여 더 유창하고 맥락적으로 풍부한 캡션을 생성할 수 있게 되었다.
훈련 및 최적화
COCO 캡셔닝 모델 훈련은 일반적으로 생성된 캡션과 참조 캡션 간의 교차 엔트로피 손실을 최소화하는 것을 포함한다. 많은 모델은 두 단계 훈련 과정을 사용한다: 첫 번째는 COCO 훈련 세트에 대한 지도 학습, 두 번째는 평가 지표를 직접 개선하기 위한 강화 학습 또는 시퀀스 수준 목표를 통한 최적화이다. Curriculum Learning 및 Data Augmentation과 같은 기법은 일반화를 개선하기 위해 적용되었으며, Gradient Clipping 및 Batch Normalization은 안정적인 훈련을 위해 일반적으로 사용된다.
최적화기와 학습률 스케줄의 선택은 성능에 크게 영향을 미칠 수 있다. Adam(참조: Adam (Optimizer)) 및 확률적 경사 하강법 변형(참조: Stochastic Gradient Descent Variants)과 같은 표준 최적화기가 널리 사용되며, 종종 워밍업 후 감소하는 Learning Rate Scheduling을 사용한다. 추론 중에는 Beam Search, Top-K Sampling, Top-P (Nucleus) Sampling과 같은 디코딩 전략이 사용되며, 무작위성을 제어하기 위해 온도 스케일링(참조: Temperature Scaling)이 적용된다.
영향 및 확장
COCO 캡셔닝은 Generative AI 및 멀티모달 학습 분야에 광범위한 영향을 미쳤다. 이는 시각적 질문 응답, 이미지-텍스트 검색, 텍스트-이미지 생성과 같은 더 복잡한 과제의 기반이 되었다. 이 벤치마크는 대규모 비전-언어 사전 훈련의 발전에도 영향을 미쳤으며, 여기서 모델은 대규모 이미지-텍스트 쌍으로 훈련된 후 COCO에서 미세 조정된다. Stanford AI Lab, BAIR (Berkeley AI Research), MIT CSAIL과 같은 기관의 연구 그룹은 영향력 있는 방법을 기여했으며, OpenAI 및 Google DeepMind와 같은 기업은 멀티모달 시스템에서 COCO 스타일 데이터를 사용했다.
이 과제는 또한 기계 생성 설명을 평가하는 데 있어 어려움을 부각시켜, 더 견고한 지표와 인간 참여 평가에 대한 연구로 이어졌다. 2020년대 초반 기준으로 최첨단 모델은 일부 지표에서 인간 성능에 근접한 점수를 달성하지만, 세부적인 세부 사항과 희귀 객체에서는 여전히 어려움을 겪고 있다. COCO 캡셔닝은 비전-언어 모델을 비교하고 지각과 언어의 교차점을 연구하기 위한 널리 사용되는 벤치마크로 남아 있다.