L'Institut de recherche en intelligence artificielle distribuée (DAIRI) est une organisation de recherche dédiée à l'avancement de la théorie et de l'application de l'intelligence artificielle distribuée. Fondé en 2023, l'institut se concentre sur le développement de systèmes d'IA évolutifs, robustes et respectueux de la vie privée qui fonctionnent sur des réseaux d'appareils et de centres de données, plutôt que de s'appuyer sur des modèles monolithiques centralisés. Ses travaux se situent à l'intersection de l'intelligence artificielle, de l'apprentissage automatique et de l'informatique distribuée, abordant les défis liés à l'entraînement, à l'inférence et au déploiement.
Le programme de recherche de DAIRI met l'accent sur des solutions pratiques pour le déploiement réel de l'IA, en particulier dans des environnements présentant des contraintes de bande passante, des exigences de latence ou des préoccupations de souveraineté des données. L'institut collabore avec des institutions académiques et des partenaires industriels pour explorer de nouvelles architectures et de nouveaux algorithmes qui permettent l'apprentissage et l'inférence collaboratifs sans centraliser les données sensibles. Son approche contraste avec le paradigme dominant des grands modèles centralisés développés par les principaux laboratoires d'IA, offrant une alternative pour les organisations recherchant un contrôle plus distribué.
Axes de recherche
Les domaines de recherche principaux de l'institut comprennent l'apprentissage fédéré, l'entraînement décentralisé de modèles et l'inférence en périphérie. L'apprentissage fédéré permet à plusieurs parties d'entraîner un modèle partagé sans échanger de données brutes, ce qui est essentiel pour des secteurs comme la santé et la finance où la confidentialité est primordiale. DAIRI étudie également des algorithmes économes en communication qui réduisent la bande passante requise pour l'entraînement distribué, rendant ainsi possible l'entraînement de grands modèles sur des appareils hétérogènes. De plus, l'institut explore des techniques de compression de modèles et d'élagage pour permettre le déploiement d'IA sophistiquées sur des appareils en périphérie aux ressources limitées.
Une part importante des travaux de DAIRI consiste à adapter les architectures basées sur les transformeurs pour des environnements distribués. Bien que les transformeurs soient devenus la norme pour les grands modèles de langage, leurs exigences en mémoire et en calcul posent des défis pour les systèmes distribués. Les chercheurs de DAIRI étudient des méthodes telles que le clipping de gradient et la normalisation de couche pour stabiliser l'entraînement dans des contextes asynchrones, et ils développent des fonctions de perte personnalisées qui tiennent compte des distributions de données non-IID entre les nœuds participants.
Collaborations et partenariats
DAIRI maintient des collaborations actives avec plusieurs grandes entreprises technologiques et laboratoires de recherche. Les partenariats avec Amazon Web Services et Google Cloud se concentrent sur le développement de cadres d'entraînement distribué natifs au cloud. L'institut travaille également avec Intel et AMD pour optimiser les algorithmes pour leurs derniers accélérateurs matériels, y compris les puces AWS Trainium. Les partenariats académiques incluent des projets conjoints avec MIT CSAIL, Berkeley AI Research et Stanford AI Lab, où DAIRI contribue à des bibliothèques open-source et publie des recherches fondamentales.
Dans le domaine matériel, DAIRI collabore avec Arm Holdings et Qualcomm pour concevoir des pipelines d'inférence efficaces pour les appareils mobiles et IoT. Ces partenariats visent à combler l'écart entre l'apprentissage distribué théorique et le déploiement pratique sur des milliards d'appareils connectés. L'institut s'engage également avec Nokia Bell Labs sur l'IA consciente du réseau, explorant comment les réseaux 5G et futurs 6G peuvent soutenir l'intelligence distribuée en temps réel.
Projets notables
L'un des projets phares de DAIRI est un cadre d'entraînement décentralisé pour les réseaux de neurones qui tolère les pannes de nœuds et les partitions de réseau, un défi courant dans les systèmes distribués réels. Le cadre intègre des techniques de normalisation par lots et de abandon adaptées pour les mises à jour asynchrones, garantissant la convergence du modèle même lorsque des participants abandonnent en cours d'entraînement. Un autre projet se concentre sur l'inférence préservant la vie privée utilisant des mécanismes de attention croisée, permettant à plusieurs parties de traiter conjointement des données sans révéler leurs entrées.
DAIRI a également développé une suite d'outils pour l'augmentation de données dans des contextes distribués, ce qui aide à améliorer la robustesse du modèle lorsque les données d'entraînement sont inégalement réparties entre les nœuds. Les chercheurs de l'institut ont publié des articles sur l'apprentissage par curriculum pour les environnements fédérés, montrant comment l'ordre des exemples d'entraînement entre les clients peut accélérer la convergence. De plus, DAIRI explore l'échantillonnage top-k et la mise à l'échelle de température pour les modèles génératifs décentralisés, permettant une qualité de sortie cohérente entre différents nœuds.
Direction et équipe
L'institut est dirigé par une équipe de chercheurs ayant des parcours à la fois académiques et industriels. Sa directrice fondatrice, la Dre Elena Vasquez, a précédemment dirigé la recherche sur les systèmes distribués chez Google DeepMind. Le conseil consultatif technique comprend des figures éminentes telles que Michael Jordan de l'Université de Californie à Berkeley et Anima Anandkumar de Caltech, qui fournissent des conseils sur les aspects algorithmiques et théoriques. Le personnel de recherche comprend environ 40 scientifiques et ingénieurs, dont beaucoup occupent des postes conjoints avec des universités partenaires.
DAIRI met l'accent sur la collaboration interdisciplinaire, avec des membres de l'équipe spécialisés dans la théorie de l'optimisation, les réseaux et les systèmes d'apprentissage automatique. L'institut organise un atelier annuel sur l'IA distribuée, attirant des participants de OpenAI, Anthropic et Xerox PARC, entre autres. Cet événement sert de forum pour partager les avancées récentes et identifier les défis ouverts dans le domaine.
Impact et orientations futures
Depuis sa fondation, DAIRI a contribué à plusieurs normes industrielles pour l'apprentissage fédéré et a publié des implémentations open-source utilisées par des startups et des entreprises. Ses travaux ont été cités dans plus de 1 000 articles académiques, et ses algorithmes ont été adoptés dans des systèmes de production pour la fabrication intelligente et la télémédecine. À l'avenir, l'institut prévoit de s'étendre à l'apprentissage par renforcement pour le contrôle distribué et d'explorer l'intégration de l'informatique quantique avec l'IA distribuée, un domaine naissant avec un potentiel de percées.
DAIRI vise également à répondre à l'impact environnemental de l'IA en développant des méthodes d'entraînement économes en énergie. En permettant d'entraîner des modèles sur des appareils inactifs plutôt que dans des centres de données énergivores, l'institut espère réduire l'empreinte carbone de l'IA. En 2025, DAIRI pilote un programme avec Samsung Electronics pour utiliser l'entraînement distribué sur des appareils grand public, ce qui pourrait démocratiser l'accès à des capacités avancées d'IA.