Brandon Reagen est un chercheur en intelligence artificielle et en génie informatique dont les travaux se concentrent sur l'intersection des algorithmes de apprentissage automatique et de la conception matérielle. Il est surtout connu pour avoir fait progresser l'exécution efficace des modèles de réseaux de neurones, notamment grâce à des accélérateurs personnalisés et à des optimisations au niveau du système qui réduisent le coût de calcul des charges de travail de apprentissage profond. Ses recherches ont influencé à la fois les approches académiques de la co-conception matériel-logiciel et les déploiements pratiques dans les environnements de cloud et de calcul en périphérie.
La carrière de Reagen s'étend sur des rôles dans le milieu académique et l'industrie, où il a contribué à des projets allant des puces d'inférence à faible consommation aux systèmes d'entraînement évolutifs. Ses publications paraissent fréquemment dans les meilleures conférences sur l'architecture des ordinateurs et l'apprentissage automatique, et ses travaux sont cités pour leur accent sur les gains de performance mesurables plutôt que sur des abstractions théoriques. Il a également participé à des efforts visant à rendre l'inférence des grands modèles de langage plus efficace, un sujet d'importance croissante à mesure que les systèmes d'IA générative se développent.
Début de carrière et formation
Reagen a terminé ses études doctorales en génie électrique et informatique, en se concentrant sur la conception de processeurs économes en énergie pour l'apprentissage automatique. Pendant son doctorat, il a développé des méthodes pour co-optimiser la précision des algorithmes et les ressources matérielles, démontrant que les réseaux de neurones pouvaient tolérer une précision numérique réduite sans perte significative de performance sur les tâches. Cette ligne de recherche a jeté les bases de travaux ultérieurs sur les accélérateurs spécialisés.
Ses premiers travaux académiques ont été menés dans des institutions ayant des liens étroits avec le laboratoire d'informatique et d'intelligence artificielle du MIT et le laboratoire d'IA de Stanford, bien qu'il ait également collaboré avec des chercheurs de l'université Carnegie-Mellon et de la recherche en IA de Berkeley. Ces collaborations ont contribué à établir une approche interdisciplinaire qui combine des idées issues de la conception de circuits, de l'architecture et de la théorie algorithmique.
Contributions à l'accélération matérielle
Un thème central des recherches de Reagen est la conception de circuits intégrés spécifiques à une application (ASIC) pour l'inférence de réseaux de neurones. Il a exploré comment mapper les couches de réseaux de neurones convolutifs sur des réseaux systoliques et d'autres structures parallèles, obtenant des améliorations d'un ordre de grandeur en efficacité énergétique par rapport aux GPU généralistes. Ses travaux impliquent souvent une modélisation détaillée des hiérarchies de mémoire, des schémas de réutilisation des données et des techniques de réduction de la largeur de bits.
Une contribution notable est le développement d'un cadre pour générer automatiquement des configurations d'accélérateurs en fonction de la topologie du réseau et des contraintes de latence cibles. Ce cadre permet aux concepteurs d'explorer les compromis entre la surface, la puissance et le débit sans réglage manuel, ce qui facilite le déploiement de matériel personnalisé pour diverses applications. Cette approche a été adoptée dans plusieurs prototypes académiques et a influencé des conceptions commerciales.
Reagen a également étudié l'utilisation de l'élagage de modèles et de la quantification comme considérations de conception de premier ordre pour le matériel. En intégrant ces optimisations algorithmiques dans la boucle de conception matérielle, ses travaux montrent que des accélérations substantielles sont possibles lorsque les deux couches sont optimisées conjointement. Cette perspective contraste avec les efforts antérieurs qui traitaient l'algorithme et le matériel comme des préoccupations distinctes.
Intégration des systèmes et des logiciels
Au-delà de la conception de puces, Reagen a contribué aux piles logicielles qui interfacent avec le matériel spécialisé. Il a travaillé sur des compilateurs et des systèmes d'exécution qui traduisent des descriptions de réseaux de neurones de haut niveau en instructions de bas niveau efficaces pour les accélérateurs. Cela inclut la gestion des transformations de disposition des données, la planification des opérations sur plusieurs cœurs et la gestion de la mémoire sur puce pour minimiser le trafic hors puce.
Ses recherches sur les systèmes abordent également les défis de la mise à l'échelle de l'entraînement sur des clusters distribués. Il a exploré des techniques de compression de gradient et de réduction de la communication, qui sont critiques pour entraîner de très grands modèles sur de nombreux nœuds. Ces méthodes aident à atténuer le goulot d'étranglement de la bande passante réseau dans les environnements Amazon Web Services et Google Cloud, où les tâches d'entraînement s'exécutent souvent sur des centaines de GPU.
Dans le contexte de l'IA générative, Reagen a examiné comment servir efficacement les modèles basés sur les transformeurs. Ses travaux sur le décodage spéculatif et les mécanismes de sortie anticipée visent à réduire la latence et le coût de la génération de texte, ce qui est particulièrement pertinent pour les applications en temps réel comme les chatbots et les assistants de code. Ces techniques ont été intégrées dans certains systèmes de production, bien que les détails restent propriétaires.
Rôles dans l'industrie et collaborations
Reagen a occupé des postes dans plusieurs entreprises technologiques, où il a traduit ses idées académiques en produits pratiques. Il a travaillé avec des équipes chez AMD et Intel pour optimiser leurs bibliothèques d'apprentissage automatique pour des architectures CPU et GPU spécifiques. Ces collaborations impliquent souvent le réglage des implémentations de noyaux et des schémas d'accès mémoire pour atteindre des performances maximales sur du matériel grand public.
Il a également été consultant pour Groq et SambaNova, des startups qui construisent des accélérateurs d'IA spécialisés. Dans ces rôles, il a fourni des conseils sur la caractérisation des charges de travail et l'évaluation comparative, aidant à garantir que leur matériel puisse gérer une large gamme d'architectures de réseaux de neurones, des petits modèles de périphérie aux grands modèles de langage. Ses retours ont influencé la conception de leurs jeux d'instructions et de leurs sous-systèmes mémoire.
De plus, Reagen a été impliqué avec Nokia Bell Labs sur des projets liés à l'inférence à faible consommation pour les réseaux de télécommunications. Ces travaux explorent comment déployer des modèles d'IA sur des stations de base et des dispositifs de périphérie, où les contraintes énergétiques sont sévères et où un traitement en temps réel est requis. Les résultats ont des implications pour les réseaux 5G et futurs 6G.
Impact académique et mentorat
Reagen maintient une présence académique active, publiant régulièrement et siégeant dans des comités de programme pour les grandes conférences en architecture et en apprentissage automatique. Il a encadré de nombreux étudiants diplômés et chercheurs postdoctoraux, dont beaucoup sont devenus professeurs ou ont pris des rôles de recherche dans l'industrie. Son style de mentorat met l'accent sur l'expérimentation pratique et l'évaluation rigoureuse, encourageant les étudiants à construire des systèmes complets plutôt que des composants isolés.
Son enseignement a couvert des sujets tels que l'architecture des ordinateurs, les interfaces matériel-logiciel et des sujets spéciaux dans les systèmes d'apprentissage automatique. Il a développé des supports de cours qui initient les étudiants aux défis de la conception de matériel d'IA efficace, y compris des laboratoires pratiques utilisant des prototypes basés sur FPGA. Ces cours ont été bien accueillis pour leur orientation pratique et ont contribué à former une nouvelle génération d'ingénieurs.
Reagen est également un défenseur du matériel open-source et de la recherche reproductible. Il a publié plusieurs outils de conception et cadres de simulation sous des licences permissives, permettant à d'autres chercheurs de s'appuyer sur ses travaux. Cet engagement envers l'ouverture a favorisé une communauté autour de la conception de matériel d'IA, avec des contributions à la fois du milieu académique et de l'industrie.
Directions récentes et travaux futurs
Ces dernières années, Reagen a déplacé une partie de son attention vers l'intersection du matériel d'IA et de la sécurité. Il a étudié les attaques par canaux auxiliaires sur les accélérateurs de réseaux de neurones, montrant que les variations de puissance et de synchronisation peuvent divulguer des informations sur les entrées du modèle. Ces travaux ont des implications pour le déploiement de l'IA dans des applications sensibles comme la santé et la finance, où la confidentialité est primordiale.
Il explore également l'utilisation des architectures de réseaux résiduels et U-Net dans l'imagerie médicale, en collaboration avec des cliniciens pour développer des outils de diagnostic en temps réel. Ces projets nécessitent une co-conception minutieuse des algorithmes et du matériel pour répondre à des exigences strictes de latence et de précision, un défi qui correspond à son expertise principale.
À l'avenir, Reagen s'intéresse au potentiel du calcul optique et d'autres technologies émergentes pour l'accélération de l'IA. Bien que ces approches en soient encore à leurs débuts, il pense qu'elles pourraient offrir des avantages significatifs en efficacité énergétique pour certaines charges de travail. Il examine également comment rendre l'entraînement des grands modèles de langage plus durable, compte tenu de l'empreinte carbone substantielle des centres de données actuels.
Publications sélectionnées et reconnaissance
Reagen a écrit plus de 50 articles évalués par des pairs, plusieurs ayant reçu des prix de meilleur article ou des nominations lors des meilleures conférences. Ses travaux les plus cités incluent des études sur l'inférence économe en énergie, les méthodologies de conception d'accélérateurs et les optimisations d'entraînement distribué. Il a également contribué à des chapitres de livres et à des articles de synthèse qui résument l'état de l'art en matière de matériel d'IA.
Ses recherches ont été financées par des agences gouvernementales et des partenaires industriels, y compris des programmes visant à faire progresser les capacités de l'IA pour la sécurité nationale et la découverte scientifique. Il a été invité à donner des conférences principales lors d'ateliers internationaux et a participé à des panels sur des sujets liés à l'avenir de l'informatique.
Bien qu'il n'ait pas reçu de grands prix publics comme le prix Turing, son travail est reconnu au sein de la communauté spécialisée des architectes informatiques et des chercheurs en systèmes d'apprentissage automatique. Il est membre senior de plusieurs organisations professionnelles et siège dans des comités éditoriaux de revues axées sur l'architecture des ordinateurs.
Vie personnelle et intérêts
Les détails sur la vie personnelle de Reagen sont rares, car il tend à garder un profil public discret en dehors de ses activités professionnelles. Il est connu pour être un joueur d'échecs passionné, ayant participé à des tournois locaux, et il a exprimé un intérêt pour l'histoire de l'informatique. Ces passe-temps apparaissent parfois dans ses conférences, où il établit des analogies entre la stratégie aux échecs et la conception matérielle.
Il est également un partisan de l'éducation interdisciplinaire, encourageant les étudiants à suivre des cours de mathématiques, de physique et même de philosophie pour élargir leurs perspectives. Il croit que les solutions les plus innovantes proviennent souvent de la combinaison d'idées de domaines disparates, un principe qui guide ses propres collaborations de recherche.
Héritage et influence
Le domaine du matériel d'IA a connu une croissance rapide au cours de la dernière décennie, et les contributions de Reagen ont contribué à façonner sa trajectoire. Son insistance à mesurer les performances réelles et la consommation d'énergie a poussé la communauté vers des normes d'évaluation plus rigoureuses. Ses travaux sur la co-conception ont également influencé la manière dont les entreprises abordent le développement de puces spécialisées, s'éloignant des solutions universelles.
À mesure que les modèles d'IA continuent de croître en taille et en complexité, le besoin de matériel efficace ne fera qu'augmenter. Les recherches de Reagen fournissent une base pour relever ces défis, et ses travaux en cours garantissent qu'il reste à la pointe de ce domaine critique. Son influence s'étend au-delà de ses propres publications, car ses étudiants et collaborateurs perpétuent ses méthodes et ses valeurs dans leurs propres carrières.