대비 언어-이미지 사전 훈련(CLIP)은 기계 학습 모델로, OpenAI가 개발했으며 이미지를 자연어 설명과 연결하여 시각적 표현을 학습합니다. 이 모델은 이중 인코더 구조를 사용하며, 이미지 인코더와 텍스트 인코더가 공동으로 훈련되어 공유 벡터 공간에서 이미지 및 텍스트 임베딩을 정렬합니다. 이 접근 방식은 모델이 작업별 훈련 데이터 없이 제로샷 이미지 분류 및 검색을 수행할 수 있게 합니다.
CLIP은 2021년 arXiv 논문에서 처음 소개되었으며, 저자는 Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever입니다. 이 프로젝트는 고정 레이블 이미지 분류 데이터 세트의 한계를 극복하기 위해 웹, 특히 소셜 미디어 및 온라인 기사에서 이용 가능한 풍부한 텍스트-이미지 쌍을 활용하는 방법으로 구상되었습니다. 이름은 핵심 훈련 방법, 즉 이미지 및 관련 언어 설명에 대한 대비 사전 훈련을 반영합니다.
CLIP의 구조는 각각 트랜스포머 프레임워크를 기반으로 하는 두 개의 신경망 인코더로 구성됩니다. 이미지 인코더는 비전 트랜스포머(ViT) 또는 잔차 네트워크 중 하나일 수 있으며, 둘 다 저차원 특징 벡터를 생성하도록 구성됩니다. 텍스트 인코더는 인과적 주의 마스크가 있는 표준 트랜스포머를 사용하여 토큰화된 단어 시퀀스를 처리하고, 이미지 특징과 동일한 차원으로 투영된 특징 벡터로 끝납니다. 두 벡터는 내적을 사용하여 비교되며, 일반적으로 온도 척도 InfoNCE 기준인 대비 손실 함수가 적용됩니다. 훈련 중에 모델은 이미지-텍스트 쌍 배치를 보고 일치하는 쌍의 유사성을 최대화하면서 다른 모든 조합의 유사성을 최소화하도록 최적화됩니다. Adam 옵티마이저와 워밍업을 포함한 학습률 스케줄, 그라디언트 클리핑 기술을 사용하는 이 과정은 모델이 정렬된 임베딩 공간을 학습하도록 추진합니다.
사전 훈련에 사용된 데이터 세트는 WebImageText 데이터 세트로, 인터넷에서 자동으로 수집된 4억 개 이상의 이미지-텍스트 쌍을 포함합니다. 대조적으로, 이전에 인기 있던 ImageNet과 같은 데이터 세트는 약 160만 개의 레이블 이미지를 포함합니다. 데이터 세트의 다양성과 규모는 CLIP이 수동 주석 없이 광범위한 시각적 지식을 습득할 수 있게 했습니다. 그러나 저자는 웹 수집 데이터의 잠재적 체계적 편향, 특히 특정 그룹의 과소 대표성을 지적했으며, 이는 이후 모델 반복에서도 우려 사항으로 남아 있습니다.
제로샷 전이 및 기능
CLIP은 추가적인 작업별 미세 조정 없이 다양한 작업에 적응할 수 있습니다. 예를 들어, 분류 작업은 모델이 “개 사진”과 같은 일련의 텍스트 프롬프트를 입력 이미지와 비교하도록 요청하여 수행할 수 있습니다. ImageNet (시각 인식의 표준 벤치마크)에서의 성능은 픽셀 훈련 예제 없이 76.2% top-1 정확도에 도달했으며, 고정 특징 기반 기준선을 능가하고 ResNet-50 특징으로 훈련된 단순 선형 분류기의 성능과 일치했습니다. 균일 시각 분류 작업과 같은 다른 벤치마크에서 CLIP은 SimCLR 특징 훈련 선형 분류기에 비해 평균 약 16% 향상을 보여주었습니다. 이러한 결과는 자연 발생 텍스트에 대한 대규모 대비 사전 훈련이 전이 학습을 위한 실행 가능한 접근 방식임을 입증했습니다.
이 모델은 또한 이미지-텍스트 검색을 지원하여 설명에서 이미지를 찾거나 텍스트와 이미지를 일치시킬 수 있습니다. 텍스트-이미지 파이프라인의 구성 요소 및 생성형 AI 예술 창작 가이드와 같은 생성적 맥락에서 사용되었으며, 임베딩은 데이터 증강 및 이미지 검색 시스템에 사용될 수 있습니다.
영향 및 영향력
CLIP은 컴퓨터 비전 분야를 고정 레이블 세트로 분류하는 것에서 개방 어휘 이해로 전환시켜, 비전 모델 확장을 위한 새로운 영역을 개척했습니다. 제로샷 전이 개념은 ALIGN 및 Florence와 같은 이후 접근 방식에 영감을 주었으며, 자연어를 유연한 예측 인터페이스로 사용하는 방법은 다중 모드 작업에서 표준이 되었습니다. 또한 트랜스포머 기반 모델 훈련에서 대비 목적 함수의 사용에 영향을 미쳤습니다. OpenAI는 여러 참조 구현을 출시하고 모델을 오픈 소스로 공개하여 학계 및 산업계의 추가 연구와 개발을 촉진했습니다.
CLIP 및 OpenCLIP (커뮤니티 재구현)과 같은 변형을 포함한 후속 버전은 원래 개념을 확장했으며, 에너지 소비와 같은 실질적 제약 조건과 균형을 맞추면서 데이터 수집 및 훈련 기술이 개선되었습니다. CLIP은 다중 모드 학습의 경험적 연구에서 널리 참조되는 기준선으로 남아 있습니다.
비판 및 한계
성공에도 불구하고 CLIP에는 주목할 만한 한계가 있습니다. 세분화된 시간적 또는 긴 꼬리 분류에서 성능이 낮으며, 혐오 밈 감지 또는 의료 영상과 같은 작업에서 정확도는 전문 모델보다 낮습니다. 또한 웹에서 사회적 편향을 학습할 위험이 있습니다. 인간 속성 분류 평가에서 모델은 훈련 데이터에서 과대 대표된 인종적 또는 성별 특성을 나타낼 수 있으며 특정 그룹을 잘못 분류할 수 있습니다. 공간 추론 및 외관 인식이 약하며 명시적 감독 없이 개체 수를 세거나 여러 인스턴스를 신뢰할 수 있게 감지할 수 없습니다. 제로샷 견고성에 대한 상당한 엔지니어링 커뮤니티가 있지만, CLIP은 데이터 증강과 같은 일반적인 변환 (예: 블러 또는 회전)에 대한 민감성으로 인해 특정 응용 프로그램에서 유용성이 감소합니다.
텍스트 인코더는 토큰 수준에서 작동하여 언어의 더 깊은 구성적 이해를 제한하며, 코드는 큰 문법 구조를 효과적으로 처리하지 못합니다. CLIP은 또한 공개되지 않은 OpenAI 구현 훈련 데이터 세트에 의존하여 독립적 분석을 복잡하게 만듭니다. OpenCLIP과 같은 독립적 해결책은 적합성을 다루지만 기본 편향을 크게 해결하지는 못합니다.
더 넓은 생태계 및 관계
CLIP의 설계는 비전을 넘어 오디오-언어 모델을 포함한 분야에 영향을 미치며, 그 개념은 RLAIF와 같은 방법과 결합되어 로봇 공학 미세 조정에 사용됩니다. 이는 대비 방법 및 대규모 사전 훈련을 향한 더 넓은 딥 러닝 추세와 연결되며, Amazon Web Services 및 Google Cloud와 같은 공개 클라우드 컴퓨팅 서비스에서 쉬운 사용을 위해 호스팅되었습니다. Google DeepMind의 효율성 기능을 포함한 많은 최근 통합 다중 모드 모델은 CLIP 유사 이미지 클립을 통합합니다. Stanford AI Lab 및 UA Ou를 포함한 학술 및 산업 연구 센터는 모달리티 전반에 걸친 멀티 헤드 어텐션을 제공하는 확장을 구축했습니다.
또한 CLIP은 OpenAI 회원 Ilya Sutskever 및 OpenAI 리더십과 협력하여 OpenAI에서 중요한 역할을 했으며, 대규모 AI 연구와의 정렬을 통해 분야를 발전시키는 데 기여했습니다. 복잡한 진화는 대규모 언어 모델 및 트랜스포머에 대한 이전 작업에서 직접 흘러나왔으며, 최근 몇 년 동안 다른 프레임워크와 결합하여 고려되었습니다.
CLIP의 미래는 확장을 다룹니다. 더 많은 데이터 및 GPU 리소스에서 널리 훈련될 수 있지만, 연구자들은 더 나은 아키텍처와 매우 큰 훈련 데이터를 탐구하여 성능을 개선하고 편향을 완화하려고 합니다.