Hannaneh Hajishirzi est professeure à la Paul G. Allen School of Computer Science & Engineering de l'Université de Washington et directrice principale de recherche à l'Allen Institute for Artificial Intelligence (AI2). Ses recherches portent sur le traitement automatique des langues, les grands modèles de langage et le raisonnement automatique, avec des contributions dans la réponse aux questions, l'analyse sémantique et les architectures de modèles efficaces.
Hajishirzi a obtenu son doctorat en informatique à l'Université de l'Illinois à Urbana-Champaign en 2010, où elle a travaillé sur des algorithmes pour des problèmes basés sur les graphes et la compréhension du langage naturel. Elle a ensuite effectué des recherches postdoctorales à l'Université de Washington avant de rejoindre le corps professoral en 2014. Chez AI2, elle dirige l'équipe Mosaic, qui développe des modèles de langage open source et des outils pour le raisonnement scientifique.
Début de carrière et formation
Hajishirzi a obtenu son baccalauréat en génie informatique à l'Université de technologie de Sharif à Téhéran, en Iran, en 2003. Elle a déménagé aux États-Unis pour ses études supérieures, obtenant une maîtrise de l'Université de l'Illinois en 2006 et un doctorat en 2010. Sa thèse de doctorat portait sur l'optimisation combinatoire dans le traitement automatique des langues, appliquant des méthodes de réseaux de neurones à l'étiquetage sémantique des rôles et à la résolution de coréférence.
Après son doctorat, elle a rejoint l'Université de Washington en tant que chercheuse postdoctorale, collaborant avec des chercheurs sur des approches de apprentissage automatique pour la compréhension de texte. En 2014, elle est devenue professeure adjointe, puis a obtenu sa titularisation et sa promotion au rang de professeure agrégée en 2020, et de professeure titulaire en 2024.
Contributions de recherche
Les travaux de Hajishirzi couvrent plusieurs domaines du traitement automatique des langues. Elle a co-développé l'architecture basée sur le Transformer connue sous le nom de Longformer, qui étend les mécanismes d'attention pour traiter efficacement les longs documents. Ce modèle, introduit en 2020, permet le traitement de textes allant jusqu'à des milliers de jetons, répondant à une limitation clé des transformeurs standards.
Elle a également contribué au développement du modèle UnifiedQA, un système de réponse aux questions entraîné sur plusieurs ensembles de données pour généraliser à travers les formats. Son équipe chez AI2 a créé la série Tulu de grands modèles de langage open source, conçus pour l'ajustement par instructions et les tâches de raisonnement. Ces modèles ont été largement utilisés dans la recherche académique et les applications industrielles.
Hajishirzi a publié plus de 100 articles dans des conférences de premier plan telles que ACL, EMNLP et NeurIPS. Ses recherches sur l'analyse sémantique et le raisonnement sur les graphes de connaissances ont influencé la manière dont les systèmes d'IA représentent et interrogent les connaissances structurées.
Prix et reconnaissance
En 2021, Hajishirzi a reçu un prix CAREER de la National Science Foundation pour ses travaux sur les systèmes de traitement automatique des langues robustes et interprétables. Elle a été nommée membre de l'Association for Computational Linguistics en 2023, reconnaissant ses contributions au domaine. Son article sur Longformer a remporté le prix du meilleur article à l'atelier sur l'apprentissage de représentations pour le traitement automatique des langues en 2020.
Elle a également été reconnue pour son mentorat, recevant le prix d'enseignement distingué de l'Université de Washington en 2019. Ses étudiants ont poursuivi des carrières dans de grandes entreprises technologiques et des laboratoires de recherche.
Travail actuel et impact
Chez AI2, Hajishirzi dirige l'initiative Mosaic, qui se concentre sur la construction de modèles de langage efficaces et transparents. L'équipe a publié la série OLMo (Open Language Model) en 2024, fournissant des modèles entièrement open source avec des données d'entraînement et du code. Cet effort vise à démocratiser l'accès à la technologie des grands modèles de langage, contrastant avec les systèmes propriétaires d'entreprises comme OpenAI et Google DeepMind.
Les recherches de Hajishirzi abordent également la sécurité et l'évaluation de l'IA. Elle a développé des références pour mesurer les capacités de raisonnement et l'exactitude factuelle des modèles, contribuant à une meilleure compréhension des limites de l'IA générative. Ses travaux sur la génération augmentée par récupération ont amélioré la manière dont les modèles intègrent des connaissances externes.
Elle siège aux comités éditoriaux des principales revues de traitement automatique des langues et a organisé plusieurs ateliers sur le traitement efficace des langues. Ses collaborations couvrent le milieu universitaire et l'industrie, y compris des partenariats avec Amazon Web Services et Intel sur la conception de modèles adaptés au matériel.
Publications sélectionnées
- Beltagy, I., Peters, M. E., & Hajishirzi, H. (2020). Longformer: The Long-Document Transformer. Prépublication arXiv.
- Khashabi, D., et al. (2020). UnifiedQA: Crossing Format Boundaries With a Single QA System. Résultats de EMNLP.
- Groeneveld, D., et al. (2024). OLMo: Accelerating the Science of Language Models. Prépublication arXiv.
Son nombre de citations dépasse 20 000, reflétant l'impact large de ses travaux sur la recherche et les applications modernes en traitement automatique des langues.