Ce Zhang est un informaticien et universitaire connu pour ses contributions aux systèmes d'apprentissage automatique et à la gestion des données. Il est professeur associé à l'Université de Chicago et cofondateur de Together AI, une entreprise spécialisée dans l'infrastructure d'IA générative open source. Ses recherches font le pont entre l'intelligence artificielle et la conception de bases de données et de systèmes, visant à rendre le apprentissage automatique plus efficace et accessible.
Les travaux de Zhang ont été récompensés par de nombreux prix, notamment une bourse de recherche Sloan et un prix NSF CAREER. Il a publié abondamment dans des conférences de premier plan telles que SIGMOD, VLDB et NeurIPS, et ses recherches ont influencé à la fois les pratiques académiques et industrielles dans le déploiement de modèles d'IA à grande échelle.
Début de carrière et formation
Zhang a obtenu son doctorat en informatique à l'université de Toronto, où il a travaillé sous la supervision de Renée J. Miller. Ses recherches doctorales portaient sur l'intégration et le nettoyage des données, ce qui a ensuite éclairé son intérêt pour l'application de ces techniques aux pipelines d'apprentissage automatique. Avant de rejoindre l'Université de Chicago, il était chercheur postdoctoral au laboratoire d'IA de Stanford, collaborant avec Christopher Ré sur le système DeepDive, qui utilisait l'inférence statistique pour l'extraction d'informations à partir de données non structurées.
Contributions à la recherche
Les recherches de Zhang se concentrent sur l'intersection de la gestion des données et de l'apprentissage automatique. Il a développé des systèmes qui optimisent l'entraînement et l'inférence des modèles de apprentissage profond en exploitant des principes de bases de données tels que l'indexation, la compression et l'optimisation de requêtes. Un projet notable est l'implémentation parallèle de type "Hogwild!" de la SGD, qui a démontré comment faire évoluer les variantes de SGD sur des systèmes multicœurs sans verrouillage, obtenant des accélérations quasi linéaires.
Il a également contribué au développement de "Cerebro", un système pour la sélection et la gestion de modèles à grande échelle, permettant aux data scientists d'explorer efficacement les espaces d'hyperparamètres. Ses travaux sur les techniques "LazyBatching" et "DataSkipping" ont amélioré les performances de l'entraînement des réseaux neuronaux sur des données relationnelles, réduisant les coûts d'E/S et de calcul. Ces contributions ont été largement citées et ont influencé les recherches ultérieures dans le domaine des systèmes d'apprentissage automatique.
Together AI et impact sur l'industrie
En 2022, Zhang a cofondé Together AI avec d'autres chercheurs et ingénieurs. L'entreprise fournit une infrastructure cloud pour entraîner et exécuter des modèles de langage de grande taille, avec un accent sur les modèles et outils open source. La plateforme de Together AI prend en charge des modèles populaires comme Llama et Mistral, offrant des services de fine-tuning, d'inférence et de déploiement. L'entreprise a levé des fonds importants et est devenue un acteur clé de l'écosystème IA générative, concurrençant les grands fournisseurs de cloud en offrant des solutions spécialisées et rentables.
Le rôle de Zhang chez Together AI consiste à guider la direction technique, notamment en optimisant les performances des architectures transformers sur des systèmes distribués. Ses idées académiques ont directement façonné l'approche de l'entreprise pour construire une infrastructure d'IA évolutive, et il continue de faire le pont entre la recherche et la pratique industrielle.
Enseignement et mentorat
À l'Université de Chicago, Zhang enseigne des cours sur les systèmes d'apprentissage automatique et la gestion des données. Il a encadré de nombreux doctorants et postdoctorants, dont beaucoup ont poursuivi des carrières dans le milieu académique et l'industrie. Son enseignement met l'accent sur l'expérience pratique de la construction et du déploiement de systèmes d'IA, encourageant les étudiants à comprendre à la fois les fondements théoriques et les défis pratiques de l'ingénierie.
Zhang a également été actif dans l'organisation de conférences et d'ateliers académiques, siégeant dans des comités de programme pour des événements majeurs comme NeurIPS, ICML et SIGMOD. Il est un fervent défenseur de la reproductibilité dans la recherche en IA, et son laboratoire maintient des codes et des benchmarks open source pour les systèmes qu'ils développent.
Reconnaissance et récompenses
Les contributions de Zhang ont été reconnues par plusieurs distinctions. Il a reçu la bourse de recherche Sloan en 2021, décernée aux scientifiques en début de carrière d'un potentiel exceptionnel. Il a également reçu le prix NSF CAREER, une subvention prestigieuse pour les professeurs juniors. Son article sur "Cerebro" a remporté le prix du meilleur article à l'ICDE 2020, et ses travaux sur les algorithmes de type "Hogwild!" sont reconnus comme une contribution fondamentale à l'apprentissage automatique parallèle.
Il a été invité à donner des conférences plénières lors de diverses conférences et ateliers, et ses recherches ont été présentées dans des médias couvrant les avancées en IA. Son travail avec Together AI a également été mis en avant dans des rapports industriels sur le paysage croissant des fournisseurs d'infrastructure d'IA.
Orientations futures
Zhang continue d'explorer de nouvelles frontières dans les systèmes d'apprentissage automatique, notamment des méthodes d'entraînement efficaces pour les réseaux résiduels et d'autres architectures, ainsi que des techniques de élagage de modèles et de augmentation de données. Il s'intéresse à rendre l'IA plus durable en réduisant les ressources de calcul nécessaires à l'entraînement de grands modèles. Ses recherches en cours visent à développer des systèmes capables de s'adapter à des distributions de données changeantes et de prendre en charge l'inférence en temps réel à grande échelle.
En tant que cofondateur de Together AI, Zhang se concentre également sur la démocratisation de l'accès à l'IA, en veillant à ce que les chercheurs et les développeurs puissent exploiter des modèles puissants sans coûts prohibitifs. Son double rôle d'universitaire et d'entrepreneur le positionne pour influencer à la fois l'évolution théorique et pratique de l'intelligence artificielle dans les années à venir.