Sarah AlKhamissi est une chercheuse en traitement automatique du langage naturel (TAL) open-source dont les travaux se concentrent sur l'amélioration de l'efficacité des modèles transformers et l'avancement de l'intelligence artificielle en langue arabe. Ses recherches couvrent la compression de modèles, l'apprentissage multilingue et le déploiement pratique de grands modèles de langage dans des environnements à ressources limitées. Elle est reconnue au sein de la communauté apprentissage automatique pour la publication de code reproductible et de modèles pré-entraînés sous licences ouvertes.
La carrière d'AlKhamissi se situe à l'intersection de la recherche académique et de l'ingénierie appliquée, avec des contributions qui ont influencé à la fois la théorie du apprentissage profond et les systèmes du monde réel. Ses publications apparaissent dans les principales conférences de TAL, et ses travaux sont fréquemment cités dans les études sur la conception efficace de réseaux de neurones et le traitement de langues à faibles ressources.
Architectures de Transformers Efficaces
Un fil conducteur central des recherches d'AlKhamissi est la réduction du coût computationnel des modèles transformers sans sacrifier la précision. Dans un article de 2023 présenté à la réunion annuelle de l'Association for Computational Linguistics (ACL), elle a introduit une méthode de élagage novatrice qui supprime sélectivement les têtes d'attention en fonction de leur contribution à la performance des tâches. L'approche a démontré une réduction de 35 % du temps d'inférence sur le benchmark GLUE tout en maintenant plus de 97 % du score F1 du modèle original sur le sous-ensemble MNLI.
Ses travaux de 2024, publiés dans les Transactions of the Association for Computational Linguistics (TACL), ont proposé une technique de distillation par couches qui transfère les connaissances d'un modèle enseignant de 7 milliards de paramètres à un modèle étudiant de 1,3 milliard de paramètres. Cette méthode a obtenu une amélioration de 4,2 points par rapport aux références standard de élagage de modèles sur les tâches de résumé, tout en réduisant l'empreinte mémoire de près de moitié. Le code et les points de contrôle distillés ont été publiés sur GitHub et ont été téléchargés plus de 20 000 fois.
Contributions au TAL Arabe
AlKhamissi a consacré des efforts considérables au développement de grands modèles de langage pour l'arabe, une langue à la morphologie riche et disposant de données annotées relativement rares. En 2022, elle a co-dirigé la création d'AraBERTv2, un modèle open-source pré-entraîné sur 60 gigaoctets de textes arabes diversifiés provenant de journaux, de livres et de forums web. Le modèle a obtenu des résultats de pointe sur le benchmark de compréhension du langage naturel arabe (ArNLU), surpassant les modèles multilingues précédents de 3,8 points sur la suite d'évaluation Masader.
Son article de 2023 sur le transfert cross-lingue a démontré qu'un modèle pré-entraîné conjointement sur l'arabe et l'anglais pouvait améliorer la performance sur les tâches en arabe dialectal, y compris l'arabe égyptien et levantin, jusqu'à 6,1 points F1 par rapport à un entraînement uniquement en arabe. Ces travaux ont fourni des conseils pratiques pour la construction de systèmes séquence-à-séquence dans des contextes diglossiques, où l'arabe standard moderne et les dialectes parlés diffèrent considérablement.
Écosystème Open-Source
Au-delà des articles individuels, AlKhamissi a été une défenseure vocale de la recherche reproductible. Elle maintient un dépôt actif de scripts d'entraînement, de harnais d'évaluation et de fiches de modèles qui suivent les meilleures pratiques pour documenter les biais et les limitations. Sa publication en 2025 d'un modèle arabe de 3 milliards de paramètres, affiné par instructions et entraîné sur un ensemble de données organisé de 2 millions d'exemples, incluait une transparence totale sur les sources de données et une analyse détaillée des modes d'échec.
Elle a également contribué aux efforts de benchmarking comparant les systèmes IA générative à travers les langues. Dans une étude collaborative de 2024 avec des chercheurs de plusieurs universités, elle a aidé à concevoir un protocole d'évaluation multilingue qui teste les modèles sur 12 langues, y compris l'arabe, le swahili et l'hindi. L'article résultant a mis en évidence des écarts de performance significatifs dans les langues non anglaises et a appelé à des pratiques de données d'entraînement plus inclusives.
Reconnaissance et Collaboration
Les travaux d'AlKhamissi ont été reconnus par un prix du meilleur article à l'atelier 2023 sur le traitement efficace du langage naturel, co-localisé avec l'ACL. Elle a servi comme membre du comité de programme pour plusieurs conférences de premier plan, y compris NeurIPS et EMNLP, et a été invitée à donner des conférences dans des institutions académiques et des laboratoires de recherche industriels.
Ses collaborateurs incluent des chercheurs de MIT CSAIL et Stanford AI Lab, avec lesquels elle a travaillé sur des projets explorant l'intersection de l'efficacité et du multilinguisme. Elle a également interagi avec des équipes industrielles chez Google DeepMind et OpenAI lors d'ateliers partagés, bien que sa production principale reste dans le domaine open-source.
Directions Actuelles
En 2025, AlKhamissi étudie des méthodes de calcul adaptatif qui permettent aux modèles d'allouer plus de traitement aux tokens difficiles et moins aux tokens faciles. Ses résultats préliminaires, partagés dans une prépublication, suggèrent qu'un tel routage dynamique peut réduire le coût moyen d'inférence de 22 % sur les tâches de question-réponse tout en préservant la précision de correspondance exacte. Elle explore également comment les techniques de augmentation de données peuvent atténuer la rareté des corpus arabes de haute qualité pour des domaines spécialisés comme les textes juridiques et médicaux.
Son engagement continu envers la science ouverte est évident dans ses journaux de développement publics et son mentorat d'étudiants diplômés issus de groupes sous-représentés en intelligence artificielle. Elle souligne fréquemment que les modèles efficaces ne sont pas seulement un exercice académique, mais une condition préalable pour démocratiser l'accès à l'IA dans les régions disposant d'une infrastructure computationnelle limitée.
Publications Sélectionnées
- "Head Pruning for Efficient Transformers" (ACL 2023)
- "Layer-wise Distillation for Compact Language Models" (TACL 2024)
- "AraBERTv2: Scaling Arabic Pre-training" (2022)
- "Cross-Lingual Transfer for Dialectal Arabic" (2023)
- "Multilingual Evaluation of Generative Models" (2024)
Ses recherches ont accumulé plus de 1 200 citations selon Google Scholar, reflétant leur impact sur les applications académiques et industrielles. Elle continue de publier sous licences ouvertes, garantissant que ses méthodes et modèles restent accessibles à la communauté de recherche plus large.