William 'Bill' Dally est un informaticien américain et le scientifique en chef de NVIDIA, une entreprise leader dans les unités de traitement graphique (GPU) et le calcul accéléré. Il est largement reconnu pour ses contributions pionnières au calcul parallèle, notamment la conception de premiers supercalculateurs massivement parallèles et le développement de techniques clés pour les réseaux d'interconnexion haute performance. Son travail a eu un impact profond sur l'informatique moderne, en particulier dans les domaines de l'intelligence artificielle et de l'apprentissage automatique, où les GPU sont essentiels pour entraîner de grands modèles.
Les recherches de Dally ont fait le pont entre la théorie académique et la pratique industrielle, influençant l'architecture de nombreux supercalculateurs les plus rapides du monde et des processeurs qui les alimentent. En tant que scientifique en chef chez NVIDIA, il a aidé à guider la stratégie de l'entreprise dans le développement de matériel et de logiciels pour une large gamme d'applications, de la simulation scientifique à l'apprentissage profond et à l'IA générative.
Jeunesse et éducation
Bill Dally est né aux États-Unis. Il a obtenu son baccalauréat en génie électrique à l'Institut polytechnique et à l'Université d'État de Virginie. Il a ensuite poursuivi des études supérieures à l'Université de Stanford, où il a reçu sa maîtrise et son doctorat en informatique. Ses travaux de doctorat ont porté sur la conception d'une architecture de processeur VLSI, ce qui a jeté les bases de ses intérêts ultérieurs pour les systèmes parallèles.
Après avoir terminé son doctorat, Dally a travaillé aux Laboratoires Bell, une installation de recherche industrielle renommée, où il a contribué au développement des premières conceptions de microprocesseurs. Cette expérience lui a donné des informations précieuses sur les défis pratiques de la construction de systèmes informatiques haute performance.
Carrière académique et recherche en calcul parallèle
Dally a commencé sa carrière académique en tant que professeur à l'Institut de technologie du Massachusetts (MIT), où il était membre du Laboratoire d'informatique et d'intelligence artificielle du MIT. Au MIT, il a dirigé le développement de la J-Machine, un ordinateur parallèle expérimental qui explorait de nouvelles approches de passage de messages et de parallélisme à grain fin. Ce projet a été influent pour démontrer le potentiel des architectures massivement parallèles.
En 1997, Dally a déménagé à l'Université de Stanford, où il est devenu professeur de génie électrique et d'informatique et a ensuite servi comme président du département d'informatique. À Stanford, il a dirigé les efforts liés à l'architecture informatique du Laboratoire d'IA de Stanford et a dirigé le groupe d'architecture VLSI concurrent de Stanford. Son groupe de recherche a développé le processeur de flux Imagine, un projet qui explorait le traitement multimédia et le calcul parallèle de données, et a apporté des contributions significatives à la conception de réseaux d'interconnexion, y compris le développement de la technique de « routage en tunnel » et du mécanisme de contrôle de flux par « canal virtuel ». Ces innovations sont devenues standard dans les grappes de calcul haute performance et les supercalculateurs.
Le manuel de Dally, « Principles and Practices of Interconnection Networks », coécrit avec Brian Towles, est une référence standard dans le domaine. Son travail a été reconnu par de nombreux prix, notamment le prix ACM Maurice Wilkes et le prix IEEE Seymour Cray de génie informatique.
Carrière chez NVIDIA
Dally a rejoint NVIDIA en 2009 en tant que scientifique en chef, tout en conservant un professorat à temps partiel à Stanford. Chez NVIDIA, il a joué un rôle déterminant dans la conception de l'architecture GPU de l'entreprise, qui a évolué d'un processeur axé sur les graphiques à un moteur de calcul parallèle à usage général. Son leadership a été crucial dans le développement de CUDA, le modèle de programmation de NVIDIA pour le calcul à usage général sur GPU, et dans la conception de générations successives de GPU qui ont considérablement augmenté les performances pour les charges de travail scientifiques et d'IA.
Sous la direction technique de Dally, les GPU de NVIDIA sont devenus la plateforme dominante pour entraîner et déployer des réseaux de neurones. Le parallélisme massif des GPU, avec des milliers de cœurs, est bien adapté aux opérations matricielles qui sous-tendent l'apprentissage profond. Cela a fait de NVIDIA un fournisseur clé pour les entreprises et les laboratoires de recherche travaillant sur des grands modèles de langage et d'autres systèmes d'IA, y compris OpenAI, Google DeepMind et bien d'autres. Dally a également été un défenseur vocal de l'informatique économe en énergie, soulignant la nécessité de réduire la consommation d'énergie de l'entraînement et de l'inférence de l'IA.
Contributions à l'IA et au calcul haute performance
Le travail de Dally a été fondamental pour le boom actuel de l'IA. Les techniques de calcul parallèle qu'il a pionnières sont directement applicables au matériel qui alimente l'IA moderne. Ses recherches sur le mouvement efficace des données et la communication ont aidé à résoudre le problème du « mur de mémoire », où la vitesse de transfert des données entre les processeurs et la mémoire limite les performances.
Il a également contribué au développement de matériel spécialisé pour l'IA, comme les cœurs tensoriels, conçus pour accélérer les multiplications matricielles utilisées dans les transformateurs et d'autres architectures de réseaux de neurones. Sa vision du « calcul accéléré » a conduit à l'intégration des GPU dans les plus grands supercalculateurs du monde, tels que Frontier et Fugaku, qui sont utilisés pour la recherche scientifique dans des domaines allant de la modélisation climatique à la découverte de médicaments.
Dally a publié plus de 250 articles et détient plus de 100 brevets. Il est membre de l'IEEE, de l'ACM et de l'Académie américaine des arts et des sciences. Il a reçu le prix ACM Eckert-Mauchly et le prix Charles Stark Draper de l'Académie nationale d'ingénierie, entre autres.
Héritage et impact
L'influence de Bill Dally s'étend au-delà de ses contributions techniques directes. Il a encadré une génération d'architectes informatiques, dont beaucoup ont ensuite dirigé des efforts de recherche dans de grandes entreprises technologiques et universités. Son accent sur la combinaison de la recherche académique rigoureuse avec l'ingénierie pratique a aidé à façonner la culture de la recherche en architecture informatique.
Alors que l'IA continue de progresser, le travail de Dally sur le calcul parallèle et la conception économe en énergie restera critique. Son leadership chez NVIDIA le positionne au centre de la révolution en cours dans le matériel d'IA, garantissant que les fondations computationnelles pour les futures percées sont solides et durables. Sa carrière illustre les connexions profondes entre la recherche fondamentale et l'impact industriel transformateur.