A aprendizagem multimodal é um tipo de aprendizado profundo que integra e processa múltiplos tipos de dados, denominados modalidades, como texto, áudio, imagens ou vídeo. Essa integração permite uma compreensão mais holística de dados complexos, melhorando o desempenho do modelo em tarefas como resposta a perguntas visuais, recuperação entre modalidades, geração de texto para imagem, classificação estética e legenda de imagens. A aprendizagem multimodal foi proposta em 2011, no início do período do aprendizado profundo. Grandes modelos multimodais, como o Google Gemini e o GPT-4o, tornaram-se cada vez mais populares desde 2023, permitindo maior versatilidade e uma compreensão mais ampla de fenômenos do mundo real.
Motivação
Os dados geralmente vêm com diferentes modalidades que carregam informações distintas. Por exemplo, é muito comum legendar uma imagem para transmitir informações não apresentadas na própria imagem. Da mesma forma, às vezes é mais direto usar uma imagem para descrever informações que podem não ser óbvias a partir do texto. Como resultado, se palavras diferentes aparecem em imagens semelhantes, é provável que essas palavras descrevam a mesma coisa. Por outro lado, se uma palavra é usada para descrever imagens aparentemente diferentes, essas imagens podem representar o mesmo objeto. Assim, em casos que lidam com dados multimodais, é importante usar um modelo capaz de representar conjuntamente a informação, de modo que o modelo possa capturar a informação combinada de diferentes modalidades.
Transformadores Multimodais
Os sistemas multimodais modernos frequentemente dependem de arquiteturas de transformadores. Modelos como o CLIP (Pré-treinamento Contrastivo de Linguagem-Imagem) aprendem representações conjuntas de imagens e texto otimizando objetivos contrastivos, permitindo que o modelo associe imagens às suas descrições textuais correspondentes. Essas abordagens baseiam-se em avanços em grandes modelos de linguagem e IA generativa, com sistemas como o GPT-4o da OpenAI e o Gemini do Google DeepMind demonstrando capacidades em entradas de texto, imagem e áudio. A integração de mecanismos de atenção de múltiplas cabeças e atenção cruzada permite que esses modelos alinhem informações entre modalidades de forma eficaz.
Máquinas de Boltzmann Profundas Multimodais
Uma máquina de Boltzmann é um tipo de rede neural estocástica inventada por Geoffrey Hinton e Terry Sejnowski em 1985. As máquinas de Boltzmann podem ser vistas como a contraparte estocástica e generativa das redes de Hopfield. Elas são nomeadas em homenagem à distribuição de Boltzmann na mecânica estatística. As unidades nas máquinas de Boltzmann são divididas em dois grupos: unidades visíveis e unidades ocultas. Cada unidade é como um neurônio com uma saída binária que representa se está ativada ou não. Máquinas de Boltzmann gerais permitem conexão entre quaisquer unidades. No entanto, o aprendizado é impraticável usando máquinas de Boltzmann gerais porque o tempo computacional é exponencial ao tamanho da máquina. Uma arquitetura mais eficiente é chamada de máquina de Boltzmann restrita, onde a conexão só é permitida entre unidade oculta e unidade visível.
As máquinas de Boltzmann profundas multimodais podem processar e aprender a partir de diferentes tipos de informação, como imagens e texto, simultaneamente. Isso pode ser feito notavelmente tendo uma máquina de Boltzmann profunda separada para cada modalidade, por exemplo, uma para imagens e outra para texto, unidas em uma camada oculta superior adicional. Esses modelos estiveram entre as primeiras abordagens para a aprendizagem multimodal e permanecem relevantes para certas tarefas de classificação e dados ausentes.
Aplicações
A aprendizagem multimodal tem inúmeras aplicações em diversos domínios:
- Recuperação entre modalidades: A recuperação entre modalidades permite que os usuários pesquisem dados em diferentes modalidades (por exemplo, recuperar imagens com base em descrições textuais), melhorando os mecanismos de busca multimídia e os sistemas de recomendação de conteúdo.
- Classificação e recuperação de dados ausentes: As máquinas de Boltzmann profundas multimodais superam modelos tradicionais como máquinas de vetores de suporte e alocação latente de Dirichlet em tarefas de classificação e podem prever dados ausentes em conjuntos de dados multimodais, como imagens e texto.
- Diagnóstico em saúde: Os modelos multimodais integram imagens médicas, dados genômicos e registros de pacientes para melhorar a precisão do diagnóstico e a detecção precoce de doenças, especialmente na triagem de câncer.
- Geração de conteúdo: Modelos como o DALL-E geram imagens a partir de descrições textuais, beneficiando as indústrias criativas, enquanto a recuperação entre modalidades permite buscas multimídia dinâmicas.
- Robótica e interação humano-computador: A aprendizagem multimodal melhora a interação em robótica e IA ao integrar entradas sensoriais como fala, visão e tato, auxiliando sistemas autônomos e a interação humano-computador.
- Reconhecimento de emoções: Combinando dados visuais, de áudio e de texto, os sistemas multimodais aprimoram a análise de sentimentos e o reconhecimento de emoções, aplicados em atendimento ao cliente, mídias sociais e marketing.
- Busca de código: Representações multimodais que combinam a estrutura do código-fonte (por exemplo, árvores sintáticas abstratas) com descrições em linguagem natural melhoram a recuperação de trechos de código relevantes para uma determinada consulta. O código-fonte também foi renderizado como uma imagem de pixel bidimensional, por exemplo, convertendo o grafo de fluxo de controle de um método em uma imagem em preto e branco processada com uma rede neural convolucional para procurar malwares.
Desafios
A aprendizagem multimodal é desafiadora porque diferentes modalidades podem representar e estruturar informações de maneiras diferentes. Dois desafios comuns são o alinhamento, que determina quais partes de diferentes modalidades correspondem entre si, e a fusão, que determina como as informações entre modalidades devem ser combinadas. As aplicações do mundo real da aprendizagem multimodal enfrentam desafios adicionais específicos da IA multimodal, incluindo modalidades ausentes quando uma fonte de dados não está disponível, a seleção de modalidades que fornecem informações complementares em vez de redundantes e os riscos de privacidade decorrentes da combinação de fontes de dados, que podem permitir que indivíduos sejam reidentificados mesmo que sejam anônimos em cada fonte separadamente.
Direções Futuras
A pesquisa continua a abordar esses desafios por meio de técnicas como aumento de dados e métodos de fusão mais sofisticados. O desenvolvimento de hardware eficiente por empresas como NVIDIA, AMD e Intel suporta as demandas computacionais dos grandes modelos multimodais. Em 2025, a aprendizagem multimodal permanece uma área ativa de pesquisa com aplicações em expansão em todos os setores, desde a Apple e a Samsung Electronics em dispositivos de consumo até provedores de nuvem como Amazon Web Services, Azure e Google Cloud que oferecem serviços de IA multimodal.