Contrastive Language–Image Pre-training (CLIP) é um modelo de aprendizado de máquina desenvolvido pela OpenAI que aprende representações visuais associando imagens a descrições em linguagem natural. Ele usa uma arquitetura de dois codificadores, onde um codificador de imagem e um codificador de texto são treinados em conjunto para alinhar embeddings de imagem e texto em um espaço vetorial compartilhado. Essa abordagem permite que o modelo realize classificação e recuperação de imagens zero-shot sem dados de treinamento específicos da tarefa.
O CLIP foi introduzido pela primeira vez em um artigo de 2021 no arXiv, de autoria de Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger e Ilya Sutskever. O projeto foi concebido como uma forma de superar as limitações de conjuntos de dados de classificação de imagens com rótulos fixos, aproveitando a abundância de pares de texto e imagem disponíveis na web, especificamente de plataformas como mídias sociais e artigos online. O nome reflete o método central de treinamento: pré-treinamento contrastivo em imagens e suas descrições em linguagem associadas.
A arquitetura do CLIP consiste em dois codificadores de rede neural, cada um baseado no framework Transformer (architecture). O codificador de imagem pode ser um Vision Transformer (ViT) ou uma rede residual (rede residual), ambos configurados para produzir vetores de características de baixa dimensão. O codificador de texto processa uma sequência de palavras tokenizadas usando um Transformer (architecture) padrão com uma máscara de atenção causal, terminando com um vetor de características que é projetado para a mesma dimensionalidade das características da imagem. Os dois vetores são comparados usando um produto escalar, e uma função de perda contrastiva é aplicada, tipicamente um critério InfoNCE com escala de temperatura. Durante o treinamento, o modelo vê um lote de pares de imagem e texto e é otimizado para maximizar a similaridade de pares correspondentes, enquanto minimiza a similaridade de todas as outras combinações. Esse processo, que usa o otimizador Adam com agendamento de taxa de aprendizado que inclui aquecimento, e técnicas de recorte de gradiente, empurra o modelo a aprender um espaço de embeddings alinhado.
O conjunto de dados usado para pré-treinamento é o WebImageText, que contém mais de 400 milhões de pares de imagem e texto coletados automaticamente da internet. Em contraste, conjuntos de dados populares anteriores, como o ImageNet, contêm cerca de 1,6 milhão de imagens rotuladas. A diversidade e a escala do conjunto de dados permitiram que o CLIP adquirisse conhecimento visual amplo sem anotação manual. No entanto, os autores notaram potencial viés sistemático nos dados coletados da web, incluindo possível aliasing e sub-representação de certos grupos, o que permanece uma preocupação em iterações posteriores do modelo.
Transferência Zero-Shot e Capacidades
O CLIP pode ser adaptado para uma ampla gama de tarefas sem ajuste fino adicional específico da tarefa. Por exemplo, tarefas de classificação podem ser realizadas pedindo ao modelo para classificar um conjunto de prompts de texto, como "uma foto de um cachorro", contra uma imagem de entrada. Seu desempenho no ImageNet (um benchmark padrão para reconhecimento visual) alcançou 76,2% de precisão top-1 sem nenhum exemplo de treinamento de pixels, superando linhas de base baseadas em características fixas e igualando o desempenho de um classificador linear simples treinado em características ResNet-50. Em outros benchmarks, como tarefas de classificação visual uniforme, o CLIP mostra ganhos médios de cerca de 16% em relação a um classificador linear treinado com características SimCLR. Esses resultados demonstraram que o pré-treinamento contrastivo em larga escala em texto naturalmente ocorrente é uma abordagem viável para aprendizado por transferência.
O modelo também suporta recuperação de imagem e texto, permitindo encontrar imagens a partir de descrições ou corresponder texto a imagens. Ele tem sido usado em contextos generativos, como um componente em pipelines de texto para imagem e como um guia para a criação de arte IA generativa, e seus embeddings podem ser usados para aumento de dados e sistemas de busca de imagens.
Impacto e Influência
O CLIP mudou o campo da visão computacional, passando da classificação com o conjunto de rótulos latentes para a compreensão de vocabulário aberto, abrindo uma nova área para escalar modelos de visão. Seu conceito de transferência zero-shot inspirou abordagens posteriores como ALIGN e Florence, e o método de usar linguagem natural como uma interface de previsão flexível tornou-se padrão em trabalho multimodal. Ele também influencia o uso de um objetivo contrastivo no treinamento de modelos baseados em Transformer (architecture). A OpenAI lançou várias implementações de referência e disponibilizou o modelo como código aberto, facilitando mais pesquisas e desenvolvimento na academia e na indústria.
Iterações subsequentes, como o CLIP e variantes como o OpenCLIP (uma reimplementação da comunidade), expandiram o conceito original, com melhorias na coleta de dados e técnicas de treinamento equilibradas com restrições práticas, como consumo de energia. O CLIP permanece uma linha de base amplamente referenciada em estudos empíricos de aprendizado multimodal.
Críticas e Limitações
Apesar de seu sucesso, o CLIP tem limitações notáveis. Ele tem desempenho ruim em classificação de granularidade fina ou de cauda longa, e sua precisão em tarefas como detecção de memes de ódio ou imagens médicas é menor do que a de modelos especializados. Há também um risco de aprender vieses sociais da web: quando avaliado na classificação de atributos humanos, o modelo pode exibir características raciais ou de gênero que são super-representadas em seus dados de treinamento e pode classificar erroneamente certos grupos. Seu raciocínio espacial e aparência são fracos, e ele não pode contar ou detectar múltiplas instâncias de forma confiável sem supervisão explícita. Uma comunidade substancial de engenharia também lida com robustez zero-shot, mas a sensibilidade do CLIP a transformações comuns como aumento de dados, como desfoque ou rotação, reduz sua utilidade em certas aplicações.
O codificador de texto opera em nível de token, o que limita a compreensão composicional mais profunda da linguagem, e o código não lida efetivamente com estruturas gramaticais grandes. O CLIP também depende do conjunto de dados de treinamento da implementação da OpenAI, que não é divulgado publicamente, complicando a análise independente; remédios independentes como o OpenCLIP abordam o ajuste, mas não o viés subjacente significativamente.
Ecossistema Mais Amplo e Relação
O design do CLIP influencia campos além da visão, incluindo modelos de áudio e linguagem, e seu conceito é combinado com métodos como RLAIF para ajuste fino em robótica. Ele está conectado à tendência mais ampla de aprendizado profundo em direção a métodos contrastivos e pré-treinamento em larga escala, e tem sido hospedado por serviços públicos de computação em nuvem, como Amazon Web Services e Google Cloud, para facilitar o uso. Muitos modelos multimodais unificados recentes, incluindo as capacidades de eficiência do Google DeepMind, integram clipes de imagem semelhantes ao CLIP. Pesquisadores em centros acadêmicos e industriais, incluindo o Stanford AI Lab e a UA Ou, construíram extensões para fornecer atenção multi-cabeça entre modalidades.
Além disso, o CLIP foi fundamental para a OpenAI, que também trabalhou com o membro da OpenAI Ilya Sutskever na liderança da OpenAI, ajudando a impulsionar o campo em alinhamento com a pesquisa de IA em larga escala. A evolução complexa flui diretamente de trabalhos anteriores sobre modelos de linguagem maiores e transformers, e tem sido considerada em combinação com outros frameworks nos últimos anos.
O futuro do CLIP lida com escalabilidade: ele pode ser treinado mais ou menos amplamente em um número maior de dados e recursos de GPU, mas pesquisadores estão explorando arquiteturas melhores e dados de treinamento extremamente grandes para melhorar seu desempenho e mitigar seus vieses.