Stephen Keckler est un architecte informatique et chercheur chez NVIDIA, où il a contribué à la conception de processeurs hautes performances et économes en énergie. Ses travaux couvrent l'architecture des GPU, les systèmes de mémoire et le calcul parallèle, avec un accent sur l'amélioration des performances et de l'efficacité énergétique des systèmes informatiques modernes. Il est largement reconnu dans le domaine de l'architecture informatique pour ses recherches sur les réseaux d'interconnexion, la microarchitecture des processeurs et les défis de mise à l'échelle des technologies informatiques futures.
La carrière de Keckler comprend à la fois des rôles académiques et industriels. Il a occupé des postes à Carnegie Mellon University et au MIT CSAIL, où il a mené des recherches sur l'architecture des ordinateurs et les systèmes parallèles. Son travail a influencé le développement du matériel pour l'IA, en particulier dans le contexte des charges de travail de apprentissage automatique et de apprentissage profond qui reposent sur un traitement massivement parallèle.
Début de carrière et contributions académiques
Keckler a commencé sa carrière académique en informatique, obtenant un doctorat en architecture informatique. Ses premières recherches ont porté sur la conception de systèmes multiprocesseurs évolutifs, y compris des travaux sur les réseaux d'interconnexion et les protocoles de cohérence de cache. À Carnegie Mellon University, il a codirigé des projets explorant des approches novatrices de conception de processeurs, telles que l'utilisation de logique reconfigurable et l'optimisation du mouvement des données dans les puces multicœurs.
Ses publications académiques ont été largement citées, notamment dans les domaines de la conception de réseaux sur puce et de l'informatique économe en énergie. Il a collaboré avec d'autres chercheurs éminents du domaine, contribuant à des études fondamentales qui ont façonné la manière dont les processeurs modernes gèrent les tâches intensives en données.
Travail chez NVIDIA
Chez NVIDIA, Keckler a participé à l'architecture des GPU utilisés pour l'IA générative et les grands modèles de langage. Son expertise en systèmes de mémoire et en traitement parallèle a été déterminante dans la conception de puces capables d'exécuter efficacement les opérations matricielles centrales des réseaux de neurones. Il a travaillé sur l'équilibre entre le débit de calcul et la bande passante mémoire, un défi critique pour l'entraînement et l'inférence des modèles transformers.
Keckler a également contribué aux efforts de NVIDIA dans le calcul haute performance (HPC), où les GPU sont utilisés pour des simulations scientifiques et la recherche en IA. Ses idées sur l'efficacité énergétique ont aidé à guider le développement de processeurs répondant aux besoins énergétiques des grands centres de données, y compris ceux exploités par Amazon Web Services, Google Cloud et Microsoft Azure.
Recherche sur l'informatique économe en énergie
Une part importante des recherches de Keckler porte sur la consommation énergétique des systèmes informatiques. Il a publié des études sur les compromis entre performance et puissance dans la conception de processeurs, plaidant pour des architectures qui minimisent le mouvement des données et réduisent la puissance en veille. Ces travaux sont particulièrement pertinents pour l'informatique en périphérie et les appareils mobiles, où l'autonomie de la batterie est une contrainte.
Ses recherches ont éclairé le développement d'accélérateurs spécialisés, tels que ceux de Cerebras et Groq, qui ciblent les charges de travail d'IA. L'accent mis par Keckler sur la co-conception du matériel et des logiciels a influencé la manière dont les entreprises abordent l'optimisation des cadres de apprentissage profond.
Impact sur le matériel d'IA
Les contributions de Keckler ont contribué à façonner le paysage du matériel d'IA, qui comprend des puces d'AMD, Intel et Arm Holdings. Ses travaux sur les hiérarchies de mémoire et l'exécution parallèle ont été appliqués à AWS Trainium et à d'autres accélérateurs d'IA basés sur le cloud. Il a également collaboré avec la communauté de recherche au sens large, notamment avec des institutions comme Stanford AI Lab et Berkeley AI Research.
Ces dernières années, Keckler s'est concentré sur les défis de la mise à l'échelle des modèles d'IA, qui nécessitent des ressources mémoire et de calcul toujours plus importantes. Ses recherches abordent les goulots d'étranglement du transfert de données et la nécessité de nouvelles architectures capables de prendre en charge efficacement les grands modèles de langage. Cela inclut des travaux sur le calcul creux et l'arithmétique à faible précision, qui réduisent la charge de calcul des réseaux de neurones.
Reconnaissance et héritage
Keckler est fellow de l'IEEE et a reçu des prix pour ses contributions à l'architecture informatique, notamment des prix de meilleur article lors de grandes conférences. Il est un conférencier fréquent lors d'événements tels que l'International Symposium on Computer Architecture (ISCA) et l'International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS). Son mentorat a influencé une génération d'architectes informatiques, dont beaucoup travaillent désormais dans de grandes entreprises technologiques.
Depuis le début des années 2020, Keckler continue de diriger des recherches chez NVIDIA, se concentrant sur la prochaine génération de conceptions de GPU. Son travail reste central pour l'avancement de l'IA et du HPC, garantissant que le matériel suit le rythme de la croissance rapide des applications de apprentissage automatique.