Drew Hudson est un entrepreneur technologique et architecte informatique, surtout connu comme cofondateur de Groq, une entreprise spécialisée dans le matériel d'intelligence artificielle. Il a joué un rôle central dans le développement de l'unité de traitement du langage (LPU) de l'entreprise, un processeur conçu spécifiquement pour l'exécution rapide et efficace des grands modèles de langage. Son travail se situe à l'intersection de l'intelligence artificielle et du calcul haute performance, en se concentrant sur la résolution des goulots d'étranglement de mémoire et de bande passante qui limitent les unités de traitement graphique (GPU) traditionnelles dans les tâches d'inférence en IA.
La carrière de Hudson dans l'industrie des semi-conducteurs a commencé bien avant la fondation de Groq. Il a précédemment travaillé chez Xerox PARC, où il a acquis de l'expérience en recherche sur les systèmes informatiques, puis chez Nokia Bell Labs, contribuant à des projets impliquant la conception avancée de processeurs. Ces rôles lui ont fourni une base à la fois en recherche théorique et en ingénierie pratique, qu'il a ensuite appliquée à la création de l'architecture unique de Groq.
Groq et l'unité de traitement du langage
En 2016, Hudson a cofondé Groq avec une équipe d'ingénieurs et de chercheurs, y compris d'anciens collègues du projet d'unité de traitement tensoriel (TPU) de Google. L'entreprise a été établie avec l'objectif de construire une nouvelle classe de processeurs capable de fournir des performances déterministes et à faible latence pour les charges de travail en IA. Le résultat a été la LPU, qui utilise une approche définie par logiciel pour éliminer le besoin de planification complexe des instructions, permettant un modèle d'exécution plus simple et plus prévisible.
La première génération de la LPU a été fabriquée avec un processus de 14 nanomètres, et les versions suivantes ont évolué vers des nœuds plus avancés. Le matériel de Groq a été évalué à des vitesses d'inférence significativement plus rapides que de nombreux GPU contemporains, en particulier pour les modèles basés sur transformeur. Par exemple, en 2023, Groq a démontré une inférence en temps réel de grands modèles de langage à des vitesses dépassant 100 tokens par seconde par utilisateur, un chiffre qui a attiré une attention considérable dans la communauté de l'IA.
Contributions techniques et philosophie
Hudson a été un défenseur vocal d'un changement loin de l'approche dominante centrée sur les GPU pour l'accélération de l'IA. Il soutient que les GPU, bien que polyvalents, ne sont pas optimaux pour la nature liée à la mémoire des charges de travail d'inférence, où le mouvement des données domine souvent le calcul. La LPU répond à cela en utilisant une quantité massive de mémoire statique à accès aléatoire (SRAM) sur puce et une architecture de streaming qui maintient un flux continu de données, réduisant la dépendance à une mémoire externe plus lente comme la HBM (mémoire à haute bande passante).
Cette philosophie de conception a conduit à plusieurs réalisations techniques notables. Les puces de Groq ont été utilisées pour exécuter des modèles de OpenAI et Anthropic dans des contextes de démonstration, montrant leur capacité à gérer à la fois des architectures open-source et propriétaires. Hudson a également souligné l'importance de performances déterministes, ce qui signifie que le temps de traitement d'une entrée donnée est cohérent et prévisible, ce qui est crucial pour des applications en temps réel telles que les assistants vocaux et les systèmes autonomes.
Impact sur l'industrie et partenariats
Sous la direction technique de Hudson, Groq a sécurisé des partenariats avec de grands fournisseurs de cloud et des entreprises. En 2024, l'entreprise a annoncé une collaboration avec Amazon Web Services pour offrir des instances basées sur la LPU de Groq via le marché d'AWS, permettant aux développeurs d'accéder au matériel sans le posséder directement. De plus, Groq a travaillé avec Google Cloud sur des initiatives de recherche conjointes, bien que les détails de ces projets n'aient pas été entièrement divulgués.
L'entreprise a également reçu un financement significatif, levant plus de 300 millions de dollars lors de ses premiers tours, avec des investisseurs incluant Intel Capital et Samsung Catalyst Fund. Ces investissements ont soutenu la mise à l'échelle de la production de Groq et l'expansion de sa pile logicielle, qui comprend un compilateur et un environnement d'exécution qui convertissent des modèles de frameworks comme PyTorch et TensorFlow en instructions compatibles avec la LPU.
Reconnaissance et orientations futures
Les contributions de Hudson ont été reconnues à travers divers prix de l'industrie, y compris sa nomination sur des listes de figures influentes dans le matériel d'IA. Il a pris la parole lors de grandes conférences telles que le Symposium international sur l'architecture informatique (ISCA) et la conférence sur les systèmes de traitement de l'information neuronale (NeurIPS), où il a présenté des articles sur la conception et les performances de la LPU.
En regardant vers l'avenir, Hudson a indiqué que Groq travaille sur des LPU de nouvelle génération avec une mémoire sur puce encore plus grande et une efficacité énergétique améliorée. L'entreprise explore également des applications au-delà des modèles de langage, y compris la vision par ordinateur et l'apprentissage par renforcement, bien que ces efforts en soient encore à leurs débuts. En 2025, Groq continue de concurrencer d'autres startups de puces IA comme SambaNova et Graphcore, bien que son accent sur l'inférence plutôt que sur l'entraînement la différencie sur le marché.
Parcours personnel et éducation
Hudson détient un baccalauréat en génie électrique de l'Université Carnegie Mellon, où il a étudié l'architecture informatique sous des professeurs qui ont ensuite influencé son approche de la conception de processeurs. Il a également suivi des cours de troisième cycle au Laboratoire d'intelligence artificielle de l'Université Stanford, bien qu'il ait quitté avant de terminer un doctorat pour poursuivre des entreprises entrepreneuriales. Son parcours académique, combiné à son expérience industrielle, a fait de lui une voix respectée dans le domaine du matériel d'IA, et il contribue fréquemment à des blogs techniques et à des discussions de panel sur l'avenir de l'informatique.