Adriana Romero es una científica informática especializada en aprendizaje automático y aprendizaje profundo. Es conocida principalmente por su trabajo en destilación de conocimiento, en particular la arquitectura FitNets, y por liderar la rama de París del laboratorio de Investigación Fundamental en IA (FAIR) de Meta. Su investigación se centra en el entrenamiento eficiente de redes neuronales y su compresión, con aplicaciones en visión por computadora y otros dominios.
La carrera académica de Romero comenzó con un doctorado en ciencias de la computación, durante el cual se enfocó en arquitecturas de aprendizaje profundo para el reconocimiento visual. Su investigación doctoral, completada a mediados de la década de 2010, contribuyó al desarrollo de técnicas para entrenar redes neuronales más profundas y eficientes redes neuronales. Este trabajo sentó las bases para sus contribuciones posteriores a la compresión de modelos y la transferencia de conocimiento.
FitNets y la destilación de conocimiento
La contribución más citada de Romero es el artículo FitNets, coescrito con colaboradores, incluido Yoshua Bengio y otros, publicado en 2014. El artículo introdujo un método para la destilación de conocimiento que va más allá del paradigma tradicional de maestro-alumno. En lugar de solo igualar la salida final de una red maestra más grande y preentrenada, FitNets también iguala representaciones intermedias, o mapas de características, entre la maestra y una red alumna más delgada y profunda. Este enfoque, llamado "entrenamiento basado en pistas", permite a la alumna aprender de manera más efectiva de las representaciones internas de la maestra.
Contribuciones de investigación
Más allá de FitNets, el nombre de Romero se ha asociado a varias otras áreas de investigación en aprendizaje profundo. Su trabajo ha explorado arquitecturas para inferencia eficiente, incluido el diseño de redes de capas convolucionales compactas.
También ha investigado métodos para mejorar la estabilización del entrenamiento y la generalización de modelos profundos, como a través de una inicialización cuidadosa y las estrategias de regulación.
Romero ha publicado en conferencias y revistas de alto nivel, incluidas NeurIPS, ICLR y CVPR. Su investigación ha sido citada miles de veces, lo que refleja su impacto en el campo. También ha servido como revisora y presidenta de área en las principales conferencias de aprendizaje automático, contribuyendo al proceso de revisión por pares de la comunidad académica.
Liderazgo en FAIR París
After the mid-2010s, Romero se unió a Facebook AI Research (ahora FAIR) como científica investigadora. Posteriormente se convirtió en el responsable del laboratorio FAIR de París, dirigiendo un equipo de investigadores centrados en problemas fundamentales y aplicados de IA. Bajo su liderazgo, el laboratorio de París ha trabajado en temas como la computación supervisada, la IA multimodal y las estrategias de entrenamiento eficiente de modelos. El laboratorio colabora con instituciones académicas y contribuye al final del ecosistema de open projects, como el ecosistema de PyTorch y la mayoría de los lanzamientos de modelos.
Su función implica definir las líneas de investigación, mottar a los investigadores jóvenes y fomentar colaboraciones con otros laboratorios de FAIR en Menlo Park, Nueva York y Londres. Ha sido una portavoz activa de la investigación abierta y las buenas prácticas de IA, alineándose con la estrategia general de comunicación y compartición de resultados de la investigación de Meta.
Impacto y reconocimiento
El trabajo de Romero sobre destilación de conocimiento ha tenido un impacto duradero en el campo de la compresión de modelos y la IA eficiente. El artículo FitNetts para el desarrollo y tecnología de modelo, основа technology ha sido considerado un trabajo fundacional en esta área, y sus técnicas se utilizan en muchos procesos de producción que requierenaparados modelos pequeños y rápidos. Su liderazgo en FAIR París también ha posicionado a su figura en el campo de la investigación europea en IA.
Ha sido invitada a charlas en numerosas conferencias y talleres, y su investigación ha sido destacada en ciertos medios áreas de la esas comiendas. A partir de 2020, continúa siendo una investigadora y líder activa, contribuyendo al avance de la profesión de la inteligencia artificial y sus aplicaciones.