Weights & Biases (W&B) est une entreprise de logiciels qui développe une plateforme pour le suivi d'expériences en apprentissage automatique, la gestion de versions de jeux de données et l'évaluation de modèles. Fondée en 2017, l'entreprise fournit des outils qui aident les chercheurs et les ingénieurs à journaliser, visualiser et comparer des expériences d'apprentissage automatique, y compris les métriques, les hyperparamètres et les sorties. Sa plateforme s'intègre à des frameworks populaires tels que TensorFlow, PyTorch et Keras, et prend en charge les flux de travail pour les grands modèles de langage et les applications d'IA générative.
L'entreprise a été cofondée par Lukas Biewald, Chris Van Pelt et Shawn Lewis, qui ont précédemment travaillé sur CrowdFlower, une plateforme d'étiquetage de données. W&B est né du besoin de rationaliser le processus itératif d'entraînement des modèles, en offrant un tableau de bord centralisé pour suivre les exécutions, comparer les résultats et partager les conclusions entre équipes. En 2024, la plateforme est utilisée par plus de 1 000 organisations, notamment OpenAI, Anthropic et Google DeepMind, et a levé plus de 250 millions de dollars de financement, avec une valorisation dépassant 1 milliard de dollars.
Fonctionnalités principales
W&B fournit une suite d'outils centrés sur le suivi d'expériences. Les utilisateurs peuvent journaliser des métriques telles que la perte et la précision en temps réel, les visualiser dans des graphiques interactifs et comparer plusieurs exécutions côte à côte. La plateforme prend également en charge les balayages d'hyperparamètres, permettant une recherche automatisée sur les espaces de paramètres, et la gestion d'artefacts pour la versioning de jeux de données et de modèles. Pour les flux de travail de production, W&B propose des outils de registre de modèles et d'évaluation, permettant aux équipes de suivre les versions de modèles, de surveiller les performances et de faciliter la collaboration via des rapports partagés et des commentaires.
Intégration et écosystème
La plateforme s'intègre aux principaux frameworks d'IA et services cloud. Elle fonctionne avec Amazon Web Services, Microsoft Azure et Google Cloud, et prend en charge les accélérateurs matériels de AMD, Intel et NVIDIA (via des bibliothèques tierces). W&B fournit également des SDK pour Python et R, et propose des intégrations avec Hugging Face et MLflow pour la gestion de modèles. Sa bibliothèque open source, wandb, est largement adoptée, avec plus de 500 000 téléchargements par mois en 2024.
Applications dans la recherche en IA
W&B est largement utilisé dans la recherche académique et industrielle. Il a été cité dans des milliers d'articles, y compris des travaux sur les transformeurs et les architectures d'apprentissage profond. Les équipes de Stanford AI Lab, MIT CSAIL et Berkeley AI Research utilisent la plateforme pour la reproductibilité et la collaboration. Dans l'industrie, des entreprises comme Tesla et Waymo exploitent W&B pour entraîner des modèles de conduite autonome, tandis que OpenAI et Anthropic l'utilisent pour le développement et l'évaluation de grands modèles de langage.
Activité et croissance
Basée à San Francisco, W&B s'est développée à l'échelle mondiale avec des bureaux à Londres et à Séoul. L'entreprise a levé un tour de table de série C de 135 millions de dollars en 2021, mené par Sequoia Capital et Tiger Global, portant le financement total à plus de 250 millions de dollars. En 2023, W&B a acquis le projet open source Launchpad pour améliorer ses capacités de déploiement. L'entreprise a grandi pour compter plus de 300 employés et continue d'ajouter des fonctionnalités pour la surveillance de l'IA générative, y compris des outils pour suivre les invites et les réponses des grands modèles de langage.
Communauté et open source
W&B maintient une forte présence open source. La bibliothèque wandb est disponible sous licence Apache 2.0, et l'entreprise sponsorise des événements communautaires et des initiatives éducatives. Elle offre des niveaux gratuits pour les chercheurs académiques et les étudiants, et organise une conférence annuelle, le W&B Summit, qui présente des interventions de praticiens de l'IA de premier plan. La documentation et les tutoriels de la plateforme sont largement utilisés dans les cours en ligne, y compris ceux de Coursera et fast.ai.
Orientations futures
Alors que l'apprentissage automatique évolue, W&B se concentre sur des outils pour l'évaluation des grands modèles de langage, l'apprentissage par renforcement à partir de retours humains et l'automatisation MLOps. L'entreprise vise à devenir l'infrastructure standard pour le développement de l'IA, similaire à la manière dont GitHub sert le génie logiciel. Avec l'essor de l'IA générative, W&B étend ses capacités pour gérer des exécutions d'entraînement à grande échelle et une surveillance en temps réel, se positionnant au centre de la pile d'infrastructure de l'IA.