Adriana Romero é uma cientista da computação especializada em aprendizado de máquina e aprendizado profundo. Ela é mais conhecida por seu trabalho em destilação de conhecimento, particularmente pelas arquiteturas de redes FitNets, e por liderar o laboratório de Pesquisa em IA Fundamental (FAIR) da Meta em Paris. Sua pesquisa se concentra no treinamento eficiente de redes neurais e na compressão de modelos, com aplicações em visão computacional e outros domínios.
A carreira acadêmica de Romero começou com um doutorado em ciência da computação, durante o qual ela se concentrou em arquiteturas de aprendizado profundo para reconhecimento visual. Sua pesquisa de doutorado, concluída em meados da década de 2010, contribuiu para o desenvolvimento de técnicas para treinar redes neurais mais profundas e eficientes. Este trabalho estabeleceu as bases para suas contribuições posteriores à transferência de conhecimento e à compressão de modelos.
A contribuição mais citada de Romero é o artigo sobre FitNets, coautorado com colaboradores, incluindo Yoshua Bengio e outros, publicado em 2014. O artigo introduziu um método para destilação de conhecimento que vai além do paradigma tradicional professor-aluno. Em vez de apenas combinar a saída final de uma rede de professores pré-treinada e maior, as FitNets também combinam representações intermediárias, ou mapas de características, entre o professor e uma rede de alunos mais fina e profunda. Essa abordagem, conhecida como treinamento baseado em dicas, permite que o aluno aprenda de forma mais eficaz com as representações internas do professor.
O método demonstrado pelas FitNets mostrou que uma rede de alunos poderia ser mais profunda e mais fina do que seu professor, alcançando precisão comparável ou até melhor em benchmarks de classificação de imagens como CIFAR-10 e ImageNet. Este trabalho foi influente no desenvolvimento de técnicas de compressão de modelos, que são cruciais para implantar modelos de aprendizado profundo em dispositivos com recursos limitados, como telefones celulares e sistemas embarcados. O conceito de usar características intermediárias para destilação foi amplamente adotado e estendido em pesquisas subsequentes.
Contribuições de Pesquisa
Além das FitNets, Romero contribuiu para várias outras áreas da pesquisa em aprendizado profundo. Seu trabalho explorou arquiteturas para inferência eficiente, incluindo o design de redes convolucionais compactas. Ela também investigou métodos para melhorar a estabilidade do treinamento e a generalização de modelos profundos, como através de técnicas de inicialização e regularização cuidadosas.
Romero publicou em conferências e periódicos de primeira linha, incluindo NeurIPS, ICLR e CVPR. Sua pesquisa tem sido citada milhares de vezes, refletindo seu impacto no campo. Ela também atuou como revisora e presidente de área em grandes conferências de aprendizado de máquina, contribuindo para o processo de revisão por pares da comunidade acadêmica.
Liderança na FAIR Paris
No final da década de 2010, Romero ingressou na FAIR, que agora faz parte da Meta AI, como cientista de pesquisa. Ela rapidamente se tornou a chefe do laboratório FAIR em Paris, liderando uma equipe de pesquisadores focados em problemas fundamentais e aplicados de IA. Sob sua liderança, o laboratório de Paris trabalhou em tópicos como aprendizado auto-supervisionado, IA multimodal e arquiteturas de modelos eficientes. O laboratório colabora com instituições acadêmicas e contribui para projetos de código aberto, como o ecossistema PyTorch e vários lançamentos de modelos.
Seu papel envolve definir direções de pesquisa, orientar pesquisadores juniores e promover colaborações com outros laboratórios da FAIR em Menlo Park, Nova York e Londres. Ela tem sido uma defensora vocal da pesquisa aberta e da IA reproduzível, alinhando-se com a estratégia mais ampla da Meta de compartilhar resultados de pesquisa.
Impacto e Reconhecimento
O trabalho de Romero sobre destilação de conhecimento teve um impacto duradouro no campo da compressão de modelos e da IA eficiente. O artigo sobre FitNets é considerado um trabalho fundamental nesta área, e suas técnicas são usadas em muitos sistemas de produção que exigem modelos pequenos e rápidos. Sua liderança na FAIR Paris também a posicionou como uma figura proeminente na comunidade europeia de pesquisa em IA.
Ela foi convidada a falar em inúmeras conferências e workshops, e sua pesquisa foi destaque na mídia acadêmica e da indústria. No início da década de 2020, ela continua a ser uma pesquisadora e líder ativa, contribuindo para o avanço da inteligência artificial e suas aplicações.