IA multimodal descreve sistemas de aprendizado de máquina, particularmente os modelos de fundação modernos, que podem aceitar, processar e frequentemente gerar mais de um tipo de dado, como texto, imagens, áudio e vídeo, dentro de um único modelo, em vez de combinar sistemas especializados separados. O termo contrasta com sistemas unimodais anteriores, como um modelo de linguagem de grande porte somente de texto ou um classificador de rede neural convolucional somente de imagem, que lidam com um único tipo de entrada e saída.
História
A pesquisa multimodal antecede a geração atual de modelos; trabalhos iniciais combinaram visão computacional e processamento de linguagem natural para tarefas como legendar imagens e responder perguntas visuais, usando codificadores separados interligados por redes conectivas menores. Um passo importante veio com o CLIP da OpenAI (2021), que aprendeu um espaço de incorporação compartilhado para imagens e texto por meio de pré-treinamento contrastivo, permitindo que modelos relacionassem conceitos visuais e linguísticos sem rótulos específicos de tarefa. As incorporações no estilo CLIP tornaram-se fundamentais para sistemas posteriores de texto para imagem, incluindo a orientação da geração baseada em difusão.
A mudança para modelos unificados
Ao longo de 2023 e 2024, os principais laboratórios passaram de anexar um codificador de visão a um modelo de texto para treinar arquiteturas genuinamente unificadas baseadas em transformadores desde o início, com dados intercalados de texto, imagem, áudio e, às vezes, vídeo. O Gemini do Google, descrito como nativamente multimodal, e o GPT-4o da OpenAI exemplificaram essa mudança, processando e gerando entre modalidades dentro de um único modelo, em vez de rotear entre submodelos separados. Isso permitiu capacidades como conversa por voz em tempo real com compreensão visual e responder perguntas que exigem raciocínio conjunto sobre uma imagem e o texto que a acompanha.
Arquitetura
Modelos multimodais tipicamente tokenizam ou incorporam cada modalidade em um espaço de representação compartilhado que um núcleo transformador pode processar uniformemente, às vezes usando codificadores específicos de modalidade para imagens ou áudio, cujas saídas são projetadas na mesma dimensão de incorporação dos tokens de texto. A saída pode ser igualmente multimodal: um modelo pode gerar texto ou delegar a geração a um decodificador de imagem baseado em difusão, como em sistemas como o editor de imagem Nano Banana do Google. O mecanismo de atenção central permite que o modelo relacione tokens entre modalidades, por exemplo, ancorando uma descrição textual em regiões específicas da imagem.
Aplicações
A IA multimodal possibilita a compreensão de documentos que combina a leitura de texto incorporado no estilo OCR com a compreensão de layout e imagem, ferramentas de acessibilidade que descrevem imagens em voz alta, resposta a perguntas sobre vídeos, sistemas robóticos que combinam percepção visual com instruções em linguagem e assistentes de consumo capazes de interpretar uma foto, captura de tela ou transmissão de câmera ao vivo. Os modelos de visão e linguagem são uma subcategoria importante focada especificamente na compreensão conjunta de imagem e texto, enquanto a IA multimodal é o guarda-chuva mais amplo que também inclui áudio e vídeo.
Avaliação e limitações
Os benchmarks para sistemas multimodais testam o raciocínio entre modalidades, como responder perguntas sobre gráficos, diagramas ou sequências de vídeo, e o desempenho ainda fica aquém da capacidade humana em tarefas que exigem raciocínio espacial preciso, contagem ou leitura de texto pequeno e denso em imagens. Os modelos também podem alucinar detalhes que não estão presentes em uma imagem, e combinar modalidades aumenta a superfície de ataque para injeção de prompt, já que instruções maliciosas podem ser ocultadas dentro de uma imagem ou clipe de áudio, em vez de apenas em texto.