Neil Houlsby é um cientista de pesquisa no Google DeepMind, reconhecido por suas contribuições para o aprendizado de máquina e o aprendizado profundo. Ele é mais conhecido como coautor do artigo sobre o Vision Transformer (ViT), que demonstrou que uma arquitetura pura de Transformer (architecture), originalmente desenvolvida para processamento de linguagem natural, pode alcançar resultados de ponta em classificação de imagens quando aplicada diretamente a sequências de patches de imagem. Esse trabalho teve um impacto significativo no campo da inteligência artificial, influenciando pesquisas subsequentes em modelos de visão e multimodais.
Os interesses de pesquisa de Houlsby abrangem redes neurais, aprendizado de representações e métodos eficientes de treinamento. Seu trabalho frequentemente preenche a lacuna entre arquiteturas baseadas em Transformer (architecture) e aplicações práticas, contribuindo para o desenvolvimento de sistemas de aprendizado de máquina escaláveis e eficazes.
Educação e Início de Carreira
Houlsby concluiu seu doutorado na Universidade de Toronto, onde trabalhou com otimização bayesiana e aprendizado ativo. Sua pesquisa de doutorado focou no desenvolvimento de métodos eficientes para ajuste de hiperparâmetros e design experimental, o que estabeleceu as bases para seu trabalho posterior em treinamento de modelos em larga escala. Após o doutorado, ele ingressou no Google Brain (agora parte do Google DeepMind) como cientista de pesquisa, onde começou a explorar novas arquiteturas para tarefas de visão e linguagem.
Vision Transformer (ViT)
Em 2020, Houlsby e seus colegas do Google Brain publicaram o artigo "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale." O artigo introduziu o Vision Transformer, que trata uma imagem como uma sequência de patches de tamanho fixo e os processa com um codificador Transformer (architecture) padrão. Essa abordagem se afastou do uso dominante de redes neurais convolucionais (CNNs) em visão computacional. Os autores mostraram que, quando pré-treinado em grandes conjuntos de dados, o ViT pode superar as CNNs em vários benchmarks de classificação de imagens, exigindo menos recursos computacionais para treinamento. A arquitetura ViT desde então se tornou um componente fundamental em muitos modelos modernos de visão e multimodais, incluindo aqueles usados em sistemas de IA generativa.
Outras Contribuições
Além do ViT, Houlsby contribuiu para pesquisas sobre ajuste fino eficiente de modelos grandes. Ele esteve envolvido em trabalhos sobre adaptadores, que são módulos leves inseridos em redes pré-treinadas para permitir uma adaptação eficiente em termos de parâmetros a novas tarefas. Essa linha de pesquisa tem implicações práticas para a implantação de modelos de linguagem grandes e outros sistemas em larga escala em ambientes com recursos limitados. Houlsby também explorou tópicos como destilação de conhecimento, aprendizado autossupervisionado e o comportamento de escalabilidade de modelos Transformer (architecture).
Impacto e Reconhecimento
O artigo sobre o ViT foi amplamente citado e influenciou tanto a pesquisa acadêmica quanto a prática industrial. Ele inspirou inúmeros trabalhos subsequentes sobre vision transformers, arquiteturas híbridas e aplicações em áreas como imagem médica, direção autônoma e robótica. O trabalho de Houlsby faz parte de uma tendência mais ampla na inteligência artificial em direção a arquiteturas unificadas que podem lidar com múltiplas modalidades, como texto, imagens e áudio, usando o mesmo framework subjacente de Transformer (architecture).
Trabalho Atual
Em 2025, Houlsby continua trabalhando no Google DeepMind, onde foca em avançar as capacidades dos modelos de aprendizado de máquina. Seus interesses de pesquisa recentes incluem melhorar a eficiência e a escalabilidade de modelos baseados em Transformer (architecture), bem como explorar novas arquiteturas para compreensão multimodal. Ele também está envolvido em esforços para tornar os sistemas de IA mais robustos e confiáveis, o que é crítico para implantações no mundo real.
As contribuições de Houlsby foram reconhecidas por meio de convites para palestrar em grandes conferências e workshops, e seus artigos receberam inúmeras citações. Ele permanece um membro ativo da comunidade de pesquisa, colaborando com colegas da academia e da indústria.