Sarah AlKhamissi é uma pesquisadora de processamento de linguagem natural (PLN) de código aberto cujo trabalho se concentra em melhorar a eficiencia dos modelos transformers e em avançar a inteligência artificial para a língua árabe. Sua pesquisa abarca compressão de modelos, aprendizado multilíngue e a implementação prática de grandes modelos de linguagem em ambientes com recursos limitados. É reconhecida na comunidade de aprendizado automático por publicar código reproduzível e modelos pré-treinados sob licencias abertas.
A carreira de AlKhamissi se situa na interseção entre pesquisa acadêmica e engeniería aplicada, com contribuciones que influenciaram tanto a teoria do aprendizado profundo como sistemas do mundo real. Suas publicações aparecem em importantes conferencias de PLN, e seu trabalho é frequentemente citado em estudos sobre diseño eficiente de redes neurais e processamento de idiomas com poucos recursos.
Arquitecturas Eficientes de Transformers
Um fio condutor central na pesquisa de AlKhamissi é reduzir o custo computacional dos modelos transformers sem sacrificar a precisão. Em um artigo de 2023 apresentado na Reunión Anual da Asociación de Lingüística Computacional (ACL), ela introdujo um método novedoso de poda que elimina seletivamente cabeças de atenção com base em sua contribución ao desempeño da tarefa. A abordagem demonstrou uma reducción de 35% no tempo de inferencia no benchmark GLUE, mantendo mais de 97% da puntuación F1 do modelo original no subconjunto MNLI.
Seu trabalho de 2024, publicado nas Transacciones da Asociación de Lingüística Computacional (TACL), propuso una técnica de destilación por capas que transfiere conocimiento de un modelo professor de 7 mil milhões de parámetros a um aluno de 1,3 mil milhões. Este método alcanzó uma mejora de 4,2 puntos sobre os baselines estándar de poda de modelos em tarefas de resumen, enquanto reducía a huella de memoria em quase a metade. O código e os checkpoints destilados foram liberados no GitHub e foram descargados más de 20.000 veces.
Contribuciones al PLN Árabe
AlKhamissi dedicou um esforzo significativo ao desarrollo de grandes modelos de linguagem para o árabe, uma língua com morfología rica e dados anotados relativamente escasos. Em 2022, co-lideró a creación de AraBERTv2, um modelo de código aberto pré-treinado em 60 gigabytes de texto árabe diverso proveniente de noticias, libros e foros web. O modelo alcanzó resultados de vanguardia no benchmark de Comprensión de Linguagem Natural Árabe (ArNLU), superando os modelos multilíngues anteriores por 3,8 puntos na suite de evaluación Masader.
Seu artigo de 2023 sobre transferencia entre idiomas demostró que um modelo pré-treinado conjuntamente em árabe e inglês podía mejorar o desempeño em tarefas de árabe dialectal, incluindo o árabe egipcio e levantino, em até 6,1 puntos F1 em comparação com o treinamento somente em árabe. Este trabalho proporcionó orientación práctica para construir sistemas sequência-a-sequência em contextos diglósicos, onde o árabe estándar moderno e os dialectos falados difieren sustancialmente.
Ecosistema de Código Aberto
Más allá de los artículos individuales, AlKhamissi ha sido una defensora vocal de la investigación reproducible. Mantiene un repositorio activo de scripts de entrenamiento, harnesses de evaluación y fichas de modelo que siguen las mejores prácticas para documentar sesgos y limitaciones. Su lanzamiento en 2025 de un modelo árabe de 3 mil millones de parámetros ajustado por instrucciones, entrenado con un conjunto de datos curado de 2 millones de ejemplos, incluyó total transparencia sobre las fuentes de datos y un análisis detallado de los modos de fallo.
También ha contribuido a esfuerzos de benchmarking que comparan sistemas de IA generativa entre idiomas. En un estudio colaborativo de 2024 con investigadores de múltiples universidades, ayudó a diseñar un protocolo de evaluación multilingüe que prueba modelos en 12 idiomas, incluidos árabe, suajili e hindi. El artículo resultante destacó brechas de rendimiento significativas en idiomas no ingleses y pidió prácticas más inclusivas en los datos de entrenamiento.
Reconocimiento y Colaboración
El trabajo de AlKhamissi ha sido reconocido con un Premio al Mejor Artículo en el Taller de 2023 sobre Procesamiento de Lenguaje Natural Eficiente, co-ubicado con ACL. Ha sido miembro del comité de programa de varias conferencias de primer nivel, incluidas NeurIPS y EMNLP, y ha sido invitada a dar charlas en instituciones académicas y laboratorios de investigación industrial.
Sus colaboradores incluyen investigadores de MIT CSAIL y Stanford AI Lab, con quienes ha trabajado en proyectos que exploran la intersección entre eficiencia y multilingüismo. También ha interactuado con equipos industriales en Google DeepMind y OpenAI a través de talleres compartidos, aunque su producción principal permanece en el dominio del código abierto.
Direcciones Actuales
A partir de 2025, AlKhamissi está investigando métodos de computación adaptativa que permiten a los modelos asignar más procesamiento a tokens difíciles y menos a los fáciles. Sus resultados preliminares, compartidos en un preprint, sugieren que dicho enrutamiento dinámico puede reducir el costo promedio de inferencia en un 22% en tareas de respuesta a preguntas, preservando al mismo tiempo la precisión de coincidencia exacta. También está explorando cómo las técnicas de aumento de datos pueden mitigar la escasez de corpus árabes de alta calidad para dominios especializados como el texto legal y médico.
Su compromiso continuo con la ciencia abierta es evidente en sus registros públicos de desarrollo y en su mentoría de estudiantes de posgrado de orígenes subrepresentados en inteligencia artificial. Con frecuencia enfatiza que los modelos eficientes no son solo un ejercicio académico, sino un requisito previo para democratizar el acceso a la IA en regiones con infraestructura computacional limitada.
Publicaciones Seleccionadas
- "Head Pruning for Efficient Transformers" (ACL 2023)
- "Layer-wise Distillation for Compact Language Models" (TACL 2024)
- "AraBERTv2: Scaling Arabic Pre-training" (2022)
- "Cross-Lingual Transfer for Dialectal Arabic" (2023)
- "Multilingual Evaluation of Generative Models" (2024)
Su investigación ha acumulado más de 1.200 citas según Google Scholar, lo que refleja su impacto tanto en aplicaciones académicas como industriales. Continúa publicando bajo licencias abiertas, asegurando que sus métodos y modelos permanezcan accesibles para la comunidad investigadora en general.