Adriana Romero est une informaticienne spécialisée dans l'apprentissage automatique et l'apprentissage profond. Elle est surtout connue pour ses travaux sur la distillation des connaissances, en particulier l'architecture FitNets, et pour avoir dirigé la branche parisienne du laboratoire Fundamental AI Research (FAIR) de Meta. Ses recherches portent sur l'entraînement efficace des réseaux de neurones et la compression de modèles, avec des applications en vision par ordinateur et dans d'autres domaines.
La carrière académique de Romero a commencé par un doctorat en informatique, au cours duquel elle s'est concentrée sur les architectures d'apprentissage profond pour la reconnaissance visuelle. Ses recherches doctorales, achevées au milieu des années 2010, ont contribué au développement de techniques pour entraîner des réseaux de neurones plus profonds et plus efficaces. Ces travaux ont jeté les bases de ses contributions ultérieures à la compression de modèles et à la distillation des connaissances.
FitNets et distillation des connaissances
L'article le plus cité de Romero est celui sur FitNets, co-écrit avec des collaborateurs dont Yoshua Bengio, publié en 2014. Cet article a introduit une méthode de distillation des connaissances qui va au-delà du paradigme traditionnel enseignant-élève. Au lieu de ne faire correspondre que la sortie finale d'un réseau enseignant plus grand et pré-entraîné, FitNets fait également correspondre les représentations intermédiaires, ou cartes de caractéristiques, entre l'enseignant et un réseau élève plus mince et plus profond. Cette approche, appelée « entraînement par indices » (hint-based training), permet à l'élève d'apprendre plus efficacement à partir des représentations internes de l'enseignant.
La méthode FitNets a démontré qu'un réseau élève pouvait être à la fois plus profond et plus mince que son enseignant tout en atteignant une précision comparable, voire supérieure, sur des références de classification d'images comme CIFAR-10 et ImageNet. Ces travaux ont été influents dans le développement des techniques de compression de modèles, essentielles pour déployer des modèles d'apprentissage profond sur des appareils aux ressources limitées, tels que les téléphones mobiles et les systèmes embarqués. Le concept d'utilisation des caractéristiques intermédiaires pour la distillation a été largement adopté et étendu dans les recherches ultérieures.
Contributions de recherche
Au-delà de FitNets, Romero a contribué à plusieurs autres domaines de recherche en apprentissage profond. Ses travaux ont exploré des architectures pour l'inférence efficace, notamment la conception de réseaux convolutifs compacts. Elle a également étudié des méthodes pour améliorer la stabilité de l'entraînement et la généralisation des modèles profonds, par exemple grâce à des stratégies d'initialisation et de régularisation soignées.
Romero a publié dans des conférences et revues de premier plan, notamment NeurIPS, ICLR et CVPR. Ses recherches ont été citées des milliers de fois, ce qui témoigne de leur impact sur le domaine. Elle a également été réviseuse et présidente de session pour les principales conférences en apprentissage automatique, contribuant ainsi au processus d'évaluation par les pairs de la communauté académique.
Direction chez FAIR Paris
À la fin des années 2010, Romero a rejoint Facebook AI Research (aujourd'hui FAIR) en tant que chercheuse. Elle est ensuite devenue responsable de FAIR Paris, dirigeant une équipe de chercheurs axés sur des problèmes fondamentaux et appliqués de l'IA. Sous sa direction, le laboratoire parisien a travaillé sur des sujets tels que l'apprentissage auto-supervisé, l'IA multimodale et les architectures de modèles efficaces. Le laboratoire collabore avec des institutions académiques et contribue à des projets open source, comme l'écosystème PyTorch et diverses publications de modèles.
Son rôle consiste à définir les orientations de recherche, à encadrer les jeunes chercheurs et à favoriser les collaborations avec les autres laboratoires FAIR à Menlo Park, New York et Londres. Elle a été une défenseure vocale de la recherche ouverte et de l'IA reproductible, en phase avec la stratégie plus large de Meta de partager ses résultats de recherche.
Impact et reconnaissance
Les travaux de Romero sur la distillation des connaissances ont eu un impact durable sur le domaine de la compression de modèles et de l'IA efficace. L'article FitNets est considéré comme un travail fondateur dans ce domaine, et ses techniques sont utilisées dans de nombreux systèmes de production nécessitant des modèles petits et rapides. Son leadership chez FAIR Paris l'a également positionnée comme une figure éminente de la communauté européenne de recherche en IA.
Elle a été invitée à prendre la parole lors de nombreuses conférences et ateliers, et ses recherches ont été présentées dans les médias industriels et académiques. Depuis le début des années 2020, elle continue d'être une chercheuse et une leader active, contribuant à l'avancement de l'intelligence artificielle et de ses applications.