Gradient Labs est une organisation de recherche axée sur l'avancement de l'apprentissage automatique et de l'intelligence artificielle grâce à une combinaison de recherche appliquée et de collaboration ouverte. L'organisation développe de nouveaux algorithmes, des bibliothèques logicielles et des cadres d'évaluation visant à améliorer l'efficacité, la robustesse et l'interprétabilité des systèmes de apprentissage profond. Ses travaux couvrent la recherche fondamentale en optimisation et en architecture de modèles, ainsi que des outils pratiques pour déployer des modèles de réseaux de neurones dans des environnements de production.
Fondée en 2019 par un groupe de chercheurs et d'ingénieurs issus du milieu académique et industriel, Gradient Labs opère en tant qu'entité indépendante à but non lucratif. La mission déclarée de l'organisation est de combler l'écart entre les avancées théoriques en IA et leurs applications réelles, avec un accent particulier sur la reproductibilité et la transparence. Son siège social est situé dans la région de la baie de San Francisco, bien que ses collaborateurs soient répartis dans plusieurs institutions à travers le monde.
Axes de recherche
Les principaux domaines de recherche de Gradient Labs comprennent les algorithmes d'optimisation, l'efficacité des modèles et la sécurité. L'équipe a publié des travaux sur les techniques de écrêtage de gradient et de planification du taux d'apprentissage visant à stabiliser l'entraînement de très grands modèles de langage. Ils ont également contribué à l'étude des méthodes de normalisation par lots et de normalisation de couche, en examinant comment ces techniques interagissent avec différentes profondeurs et largeurs de réseaux.
Une part importante des efforts du laboratoire est dirigée vers les stratégies de élagage de modèles et de augmentation de données. Leur recherche sur l'élagage a exploré des schémas de sparsité structurée qui peuvent réduire les coûts d'inférence sans perte substantielle de précision, en particulier pour les architectures basées sur transformeurs. En matière d'augmentation de données, ils ont étudié des transformations spécifiques à certains domaines pour les tâches de vision et de texte, publiant des références comparant leurs méthodes à des lignes de base établies.
L'organisation maintient également un intérêt actif pour l'apprentissage par curriculum, où les données d'entraînement sont présentées dans un ordre de difficulté croissante. Leurs expériences ont montré que des curriculums soigneusement conçus peuvent accélérer la convergence et améliorer les performances finales sur certaines tâches de séquence à séquence, complétant ainsi les travaux réalisés dans des institutions comme MIT CSAIL et Stanford AI Lab.
Contributions open source
Gradient Labs publie la plupart de ses logiciels sous des licences open source permissives. Sa bibliothèque phare, appelée GradLib, fournit des implémentations modulaires de blocs de réseaux résiduels, de mécanismes de attention multi-têtes et de schémas de encodage positionnel. La bibliothèque est conçue pour être agnostique au cadre, prenant en charge à la fois les backends PyTorch et TensorFlow, et a été adoptée par plusieurs petits groupes de recherche qui manquent des ressources d'ingénierie des grands laboratoires.
En 2021, l'organisation a publié une suite d'outils d'évaluation pour les modèles de IA générative. Ces outils incluent des implémentations standardisées de échantillonnage top-k, échantillonnage top-p et mise à l'échelle de température pour la génération de texte contrôlée, ainsi que des métriques pour évaluer la diversité et la cohérence des sorties. La suite a été citée dans plusieurs articles académiques et est utilisée dans des cours universitaires sur le traitement du langage naturel.
Gradient Labs maintient également un dépôt public de points de contrôle de modèles pré-entraînés, en particulier pour les modèles plus petits de type encodeur-décodeur pouvant fonctionner sur du matériel grand public. Ces modèles sont entraînés sur des ensembles de données organisés et sont destinés à servir de points de départ pour les chercheurs travaillant dans des environnements à faibles ressources. L'organisation a collaboré avec University of Toronto et BAIR (Berkeley AI Research) sur certains de ces efforts, partageant des ressources de calcul et des protocoles d'évaluation.
Collaborations et impact
Bien que Gradient Labs ne soit pas aussi grand que les laboratoires d'entreprise comme Google DeepMind ou OpenAI, il a établi des partenariats avec plusieurs institutions académiques et petites entreprises. Une collaboration notable avec Nokia Bell Labs s'est concentrée sur l'application de mécanismes de attention croisée aux données de télécommunications, aboutissant à un article conjoint publié en 2022. Le laboratoire a également travaillé avec Samsung Research sur des architectures efficaces de réseaux de neurones pour les appareils mobiles, contribuant au domaine plus large de l'IA sur appareil.
Les chercheurs de l'organisation présentent fréquemment lors de grandes conférences, notamment NeurIPS, ICML et ICLR. Leurs travaux sur les fonctions de perte pour les ensembles de données déséquilibrés ont été particulièrement bien accueillis, offrant une modification simple de la perte focale qui améliore les performances sur les classes rares. Cette recherche a été appliquée dans des domaines allant de l'imagerie médicale à la détection de fraude, les praticiens citant l'implémentation open source du laboratoire.
Gradient Labs s'est également engagé dans l'éducation publique, publiant une série d'articles de blog techniques qui expliquent des sujets complexes comme l'initialisation des poids et le abandon dans un langage accessible. Ces articles ont été traduits en plusieurs langues et sont utilisés comme lectures complémentaires dans des cours à Carnegie Mellon University et University of Oxford.
Gouvernance et financement
En tant qu'organisation à but non lucratif, Gradient Labs est financé par un mélange de subventions philanthropiques, de parrainages d'entreprises et de contrats de recherche gouvernementaux. Son conseil consultatif comprend des personnalités éminentes telles que Michael I. Jordan et Anima Anandkumar, qui fournissent des conseils stratégiques mais ne dirigent pas la recherche quotidienne. L'organisation publie un rapport annuel détaillant ses dépenses et ses résultats de recherche, adhérant à des principes de transparence financière.
En 2023, Gradient Labs a lancé un programme de bourses qui soutient les chercheurs en début de carrière issus de milieux sous-représentés. Le programme fournit des allocations, des crédits de calcul et un mentorat de la part des membres seniors du laboratoire. En 2024, la bourse a soutenu douze chercheurs, dont plusieurs ont poursuivi des doctorats dans des universités de premier plan.
La structure de gouvernance du laboratoire met l'accent sur la prise de décision démocratique, avec des directions de recherche proposées et votées par tout le personnel à temps plein. Ce modèle est inspiré des efforts de recherche collectifs antérieurs à Xerox PARC et Nokia Bell Labs, bien qu'adapté à l'ère moderne du développement open source. Bien que cette approche puisse ralentir la prise de décision, elle a favorisé un fort sentiment d'appropriation parmi les membres de l'équipe.
Orientations futures
À l'avenir, Gradient Labs a identifié l'élagage de modèles et l'apprentissage par renforcement à partir de retours d'IA comme deux domaines clés pour de futures investigations. L'équipe explore comment les techniques d'élagage peuvent être combinées avec la quantification pour créer des modèles ultra-compacts adaptés aux appareils de périphérie. Dans le domaine de l'apprentissage par renforcement à partir de retours d'IA, ils étudient comment les signaux de retour synthétiques peuvent réduire le besoin d'annotation humaine dans l'apprentissage des préférences.
L'organisation prévoit également d'étendre ses travaux sur l'augmentation de données pour les données multimodales, combinant des transformations de texte, d'image et d'audio. Les résultats préliminaires suggèrent que des stratégies d'augmentation conjointe peuvent améliorer la robustesse à travers les modalités, bien que la recherche en soit encore à ses débuts. Gradient Labs a l'intention de publier ces résultats sous forme d'outils open source, conformément à sa mission de démocratiser l'accès à la recherche en IA.
Malgré sa taille relativement petite, Gradient Labs s'est taillé une niche en tant que source fiable de recherche rigoureuse et reproductible. Son accent sur la collaboration ouverte et l'impact pratique le distingue à la fois des laboratoires purement académiques et des entités corporatives motivées par le profit. Alors que le domaine de l'intelligence artificielle continue d'évoluer, l'organisation vise à rester un contributeur agile à la communauté mondiale de la recherche.