Jacob Andreas é professor assistente no Laboratório de Ciência da Computação e Inteligência Artificial do MIT (MIT CSAIL). Sua pesquisa concentra-se em fundamentação da linguagem e semântica composicional, explorando como sistemas de IA podem conectar estrutura linguística a significado e ação no mundo real. Ele é afiliado ao Departamento de Engenharia Elétrica e Ciência da Computação do MIT.
Andreas concluiu seu doutorado na Universidade da Califórnia, Berkeley, onde foi orientado por Dan Klein. Seu trabalho de doutorado examinou como estruturas composicionais na linguagem podem ser aprendidas e usadas para tarefas como resposta a perguntas visuais e seguimento de instruções. Antes de ingressar no MIT, ele ocupou uma posição de pós-doutorado na Google DeepMind.
Contribuições de Pesquisa
A pesquisa inicial de Andreas introduziu métodos para aprender redes neurais modulares que compõem sub-tarefas de maneira estruturada. Em um artigo de 2016, ele e colegas propuseram um modelo que aprende a decompor uma pergunta em sub-perguntas menores, cada uma respondida por um módulo especializado, e então combina os resultados. Essa abordagem demonstrou desempenho melhorado em benchmarks de resposta a perguntas visuais em comparação com redes neurais monolíticas.
Seu trabalho em semântica composicional também abordou como induzir estruturas linguísticas latentes a partir de dados sem anotações explícitas. Ele estudou o uso de modelos de linguagem de grande escala para parsing semântico e fundamentação, examinando como esses modelos podem ser direcionados para produzir representações interpretáveis e composicionais.
Fundamentação da Linguagem e Seguimento de Instruções
Um tema central na pesquisa de Andreas é fundamentar a linguagem em ambientes interativos. Ele investigou como agentes podem aprender a seguir instruções em linguagem natural em mundos simulados, usando aprendizado por reforço e aprendizagem curricular para melhorar a eficiência amostral. Seu trabalho mostrou que descrições de tarefas composicionais podem ser aproveitadas para generalizar para combinações não vistas de instruções.
Andreas também explorou a relação entre linguagem e lógica formal, propondo maneiras de traduzir linguagem natural em programas executáveis. Essa linha de pesquisa conecta-se a esforços mais amplos em aprendizado de máquina para construir sistemas que raciocinem explicitamente sobre estrutura.
Publicações Selecionadas e Reconhecimento
Andreas publicou em importantes conferências, incluindo NeurIPS, ICLR, ACL e EMNLP. Seus artigos receberam múltiplas indicações e prêmios de melhor artigo. Ele foi nomeado Sloan Research Fellow em 2021, reconhecendo suas contribuições iniciais de carreira à ciência da computação.
Seu ensino no MIT inclui cursos de pós-graduação sobre processamento de linguagem natural e aprendizado de máquina. Ele também proferiu palestras convidadas em instituições acadêmicas e laboratórios de pesquisa da indústria, incluindo OpenAI e Anthropic.
Impacto Mais Amplo e Direções Atuais
O trabalho recente de Andreas examinou a interpretabilidade de modelos transformer, particularmente como mecanismos de atenção codificam informações composicionais. Ele argumentou pela importância de projetar benchmarks que testem generalização sistemática, um desafio destacado pela comunidade de meta-aprendizagem.
Ele também está interessado na interseção entre linguagem e programação probabilística, visando construir modelos que possam raciocinar sobre incerteza enquanto mantêm estrutura composicional. Em 2024, seu grupo no MIT continua a investigar esses tópicos, com foco em tornar sistemas de aprendizado profundo mais transparentes e confiáveis.
Ver Também
- Joshua Tenenbaum - cientista cognitivo conhecido por trabalho em composicionalidade e física intuitiva
- Brendan Lake - pesquisador em aprendizado de máquina semelhante ao humano e generalização sistemática
- Laboratório de IA de Stanford - outra instituição com pesquisa relacionada em linguagem e raciocínio