Siva Reddy est professeur à l'Université McGill et membre académique principal de Mila - Institut québécois d'intelligence artificielle. Ses recherches portent sur le traitement automatique du langage naturel (TALN), en particulier les modèles multilingues, la généralisation compositionnelle et l'intégration de la structure linguistique dans les architectures de réseaux de neurones. Il est connu pour ses contributions à la compréhension de la manière dont les grands modèles de langage représentent et traitent la syntaxe et la sémantique dans diverses langues.
Les travaux de Reddy font le pont entre la linguistique computationnelle et l'apprentissage automatique, abordant les défis des langues à faibles ressources et du transfert cross-lingue. Il a publié abondamment dans des conférences de premier plan telles que ACL, EMNLP et NeurIPS, et ses recherches ont influencé à la fois la théorie académique et les applications pratiques dans les systèmes d'IA multilingues.
Formation et début de carrière
Reddy a terminé ses études doctorales à l'Université d'Édimbourg, où il a travaillé sur l'analyse sémantique et la compréhension du langage ancré. Sa recherche de doctorat a exploré comment relier le langage naturel à des représentations formelles de sens, posant les bases de travaux ultérieurs sur les modèles compositionnels. Après son doctorat, il a occupé des postes postdoctoraux à l'Université Stanford, collaborant avec des chercheurs du Stanford AI Lab, et à l'Université d'Édimbourg, avant de rejoindre l'Université McGill en tant que membre du corps professoral.
Contributions à la recherche
Un thème central dans les travaux de Reddy est la généralisation compositionnelle - la capacité des modèles à comprendre des combinaisons nouvelles de mots et de structures connus. Il a proposé des benchmarks et des méthodes pour évaluer et améliorer cette capacité dans les réseaux de neurones, souvent en contraste avec les approches purement statistiques. Ses articles sur la généralisation systématique ont été largement cités et ont informé les travaux ultérieurs à l'ère du Transformer (architecture).
Reddy étudie également les représentations multilingues, examinant comment les caractéristiques partagées et spécifiques à chaque langue émergent dans les modèles Neural network. Il a contribué à des ensembles de données et à des cadres d'évaluation pour des langues typologiquement diverses, y compris celles avec des ressources numériques limitées. Ce travail s'aligne sur des efforts plus larges en Machine learning pour rendre les systèmes d'IA plus équitables à travers les communautés linguistiques mondiales.
Intégration de la linguistique et de l'apprentissage profond
Contrairement aux chercheurs en TALN purement axés sur l'ingénierie, Reddy souligne le rôle de la théorie linguistique dans la conception des modèles. Il a collaboré avec des syntacticiens et des sémanticiens pour injecter des biais inductifs dans les architectures de Deep learning, comme l'utilisation d'encodeurs à structure arborescente ou de mécanismes d'attention qui respectent les relations hiérarchiques. Cette approche a montré que la connaissance linguistique explicite peut améliorer l'efficacité d'échantillonnage et la robustesse, en particulier dans les contextes à faibles ressources.
Son travail critique et analyse également les limites des Large language models, comme leur tendance à se fier à des statistiques de surface plutôt qu'à un raisonnement plus profond. À travers des expériences contrôlées, il a démontré où ces modèles échouent sur des tâches nécessitant une véritable compréhension, contribuant aux débats en cours sur la nature de la cognition en IA.
Enseignement et mentorat
À McGill, Reddy enseigne des cours sur le TALN et la linguistique computationnelle, encadrant des étudiants diplômés qui ont ensuite occupé des postes dans le milieu académique et l'industrie. Il est connu pour favoriser la collaboration interdisciplinaire, réunissant des étudiants en informatique, en linguistique et en sciences cognitives. Son laboratoire publie régulièrement des outils open-source et des ensembles de données, soutenant la reproductibilité dans le domaine.
Impact et reconnaissance
Les recherches de Reddy ont été reconnues par plusieurs prix de meilleur article et nominations lors de conférences majeures. Il a servi en tant que président de domaine et membre senior du comité de programme pour ACL et EMNLP, contribuant à façonner la direction de la recherche en TALN. Son travail sur les modèles multilingues a été adopté par des praticiens construisant des systèmes pour des langues comme l'hindi, le tamoul et le swahili, et ses idées ont influencé la conception de produits d'IA commerciaux.
Au-delà du milieu académique, Reddy a collaboré avec des partenaires industriels, y compris des groupes chez Google DeepMind et Anthropic, pour explorer la sécurité et la robustesse des modèles de langage. Il reste une voix active dans les discussions sur le développement responsable de l'IA, plaidant pour des normes d'évaluation informées par la linguistique.
Publications sélectionnées
Reddy a authored plus de 50 articles évalués par des pairs. Les travaux notables incluent des études sur les benchmarks de généralisation compositionnelle, le transfert cross-lingue dans les transformateurs multilingues et le rôle de la syntaxe dans l'analyse sémantique. Son enquête co-écrite sur le TALN multilingue est fréquemment citée comme référence pour les chercheurs entrant dans le domaine.
Ses projets en cours impliquent l'extension des méthodes compositionnelles à des contextes multimodaux et le développement de techniques de fine-tuning plus efficaces pour les langues à faibles ressources, reflétant un engagement continu à rendre le TALN plus inclusif et scientifiquement rigoureux.