Norman Paul Jouppi es un ingeniero eléctrico y científico de la computación estadounidense, que actualmente se desempeña como Vicepresidente y Fellow de Ingeniería en Google. Es mejor conocido por ser el líder técnico de las Unidades de Procesamiento de Tensores (TPU) de Google desde su creación en 2013, las cuales se han vuelto centrales para la infraestructura de inteligencia artificial. Su carrera abarca décadas de contribuciones a la arquitectura de computadoras, incluido el trabajo pionero en jerarquías de memoria y procesamiento heterogéneo.
La investigación y los esfuerzos de ingeniería de Jouppi han moldeado tanto la comprensión académica como la práctica industrial en la computación de alto rendimiento. Posee más de 100 patentes estadounidenses y ha recibido numerosos premios, incluido el Premio Eckert-Mauchly y el Premio de Ingeniería de Computación IEEE Seymour Cray.
Carrera Temprana y Educación
Jouppi obtuvo su maestría en ingeniería eléctrica en la Universidad Northwestern en 1980 y un doctorado en la Universidad Stanford en 1984. Durante sus estudios de doctorado, fue uno de los arquitectos de computadoras en el Proyecto MIPS de la Universidad Stanford, una iniciativa temprana de RISC liderada por John L. Hennessy. Este trabajo contribuyó al diseño fundamental de la computación de conjunto de instrucciones reducido, que más tarde influyó en muchos procesadores comerciales.
Después de completar su doctorado, Jouppi se unió al Laboratorio de Investigación Occidental de Digital Equipment Corporation en 1984. Permaneció allí a través de las transiciones de la empresa, trabajando en Compaq y luego en Hewlett-Packard para 2002. En HP, dirigió el Laboratorio de Arquitectura Avanzada en HP Labs en Palo Alto de 2006 a 2008, seguido por el Laboratorio de Computación Exascale de 2008 a 2010 y el Laboratorio de Infraestructura Inteligente de 2010 a 2011.
Contribuciones a la Arquitectura de Computadoras
Jouppi fue pionero en varios desarrollos clave en jerarquías de memoria. Introdujo el concepto de buffers de víctima, que reducen las penalizaciones por fallos de caché, y buffers de flujo de prefetch que anticipan las necesidades de datos. También avanzó en el almacenamiento en caché exclusivo de múltiples niveles, una técnica que evita la duplicación de datos entre niveles de caché. Estas innovaciones mejoraron el rendimiento de los sistemas de red neuronal de entrenamiento e inferencia que dependen en gran medida del ancho de banda de memoria.
Desarrolló el simulador CACTI, una herramienta ampliamente utilizada para modelar el tiempo, el área y la potencia de la caché. Este simulador se convirtió en estándar en entornos académicos e industriales para evaluar diseños de memoria. Jouppi también exploró arquitecturas heterogéneas, incluidos sistemas heterogéneos de ISA única donde los núcleos con diferentes capacidades comparten el mismo conjunto de instrucciones, lo que permite compensaciones más eficientes entre potencia y rendimiento.
A lo largo de su carrera, se desempeñó como arquitecto principal de cuatro microprocesadores y contribuyó a aceleradores gráficos. Su trabajo también se extendió a la tecnología de telepresencia y la aplicación de la nanofotónica en la computación, áreas que prometen una transmisión de datos más rápida y un consumo de energía reducido.
Google y Unidades de Procesamiento de Tensores
En 2011, Jouppi se unió a Google como ingeniero de computación. En 2013, se convirtió en el líder técnico del proyecto de Unidad de Procesamiento de Tensores, que tenía como objetivo acelerar las cargas de trabajo de aprendizaje automático. La primera TPU se implementó en 2015 y se utilizó en los centros de datos de Google para tareas como clasificar resultados de búsqueda y potenciar modelos de aprendizaje profundo. Las generaciones posteriores de TPU se han integrado en los servicios de google-cloud, lo que permite a desarrolladores externos entrenar y ejecutar modelos grandes.
La arquitectura de la TPU está optimizada para operaciones de matrices comunes en modelos de transformador, que sustentan los sistemas modernos de modelo de lenguaje grande. El liderazgo de Jouppi ayudó a escalar estos chips desde prototipos de investigación hasta sistemas de producción que soportan a miles de millones de usuarios. Su trabajo ha sido fundamental para hacer prácticas las aplicaciones de IA generativa a gran escala.
Premios y Reconocimientos
Jouppi recibió el Premio Eckert-Mauchly en 2015 por sus contribuciones al diseño y análisis de procesadores de alto rendimiento y sistemas de almacenamiento de computadoras. Fue nombrado Fellow de Hewlett Packard en 2002, Fellow de IEEE en 2003 y Fellow de ACM en 2007. ACM le otorgó el Premio al Servicio Distinguido Alan D. Berenbaum en 2013.
En 2014, recibió el Premio Memorial Harry H. Goode y fue elegido miembro de la Academia Nacional de Ingeniería. Se convirtió en Fellow de AAAS en 2019 y recibió el Premio de Ingeniería de Computación IEEE Seymour Cray en 2024. De 2007 a 2011, presidió el SIGARCH de ACM, el grupo de interés especial en arquitectura de computadoras.
Servicio Académico y Profesional
Jouppi se desempeñó como profesor asistente o asociado consultor en la Universidad Stanford de 1984 a 1996. Ha estado en los consejos editoriales de Communications of the ACM y IEEE Computer Architecture Letters. Su mentoría y servicio han influido en una generación de arquitectos de computadoras. Su trabajo continúa moldeando la intersección del hardware y el aprendizaje automático, con implicaciones para amd, intel y otros fabricantes de chips.
Sus contribuciones a los aceleradores de estilo cerebras y groq son indirectas, pero su investigación fundamental informa sus diseños. A partir de 2024, Jouppi permanece activo en Google, donde su liderazgo en TPU continúa impulsando avances en el hardware de inteligencia artificial.