Amir Gholami es un científico de la computación e investigador en el campo de la inteligencia artificial, centrándose en hacer que los modelos de aprendizaje profundo sean más eficientes en términos de cómputo, memoria y consumo de energía. Su trabajo aborda la creciente brecha entre el tamaño cada vez mayor de los modelos de redes neuronales y los limitados recursos de hardware disponibles para el entrenamiento y la inferencia. Gholami es particularmente conocido por sus contribuciones al poda de modelos, la cuantización y las técnicas de entrenamiento distribuido que permiten que sistemas de IA a gran escala funcionen en hardware comercial y dispositivos de borde.
La investigación de Gholami ha sido publicada en conferencias y revistas de primer nivel, incluyendo NeurIPS, ICML y CVPR. También ha sido un contribuyente activo de código abierto, publicando herramientas y bibliotecas que han sido ampliamente adoptadas tanto por la academia como por la industria. Su trabajo se sitúa en la intersección de los sistemas de aprendizaje automático y las matemáticas aplicadas, basándose en técnicas de álgebra lineal numérica y optimización.
Educación y Carrera Temprana
Gholami recibió su Licenciatura en Ciencias en Ingeniería Eléctrica de la Universidad de Tecnología de Sharif en Teherán, Irán, en 2011. Luego se mudó a los Estados Unidos para estudios de posgrado, obteniendo una Maestría en Ciencias en Ingeniería Eléctrica y de Computación de la Universidad de Texas en Austin en 2013. Completó su doctorado en Matemáticas Computacionales y Aplicadas en la Universidad de Texas en Austin en 2017, bajo la supervisión de George Biros. Su tesis doctoral se centró en algoritmos escalables para resolver ecuaciones diferenciales parciales en sistemas de computación de alto rendimiento, lo que sentó las bases para su interés posterior en el aprendizaje automático eficiente.
Durante su doctorado, Gholami trabajó en algoritmos numéricos paralelos para problemas en dinámica de fluidos computacional y imágenes médicas. Esta experiencia le dio una comprensión profunda del co-diseño de hardware y software y de la importancia de los patrones de acceso a memoria para lograr un alto rendimiento, habilidades que luego resultarían cruciales en su investigación de IA.
Investigación Postdoctoral en UC Berkeley
De 2017 a 2020, Gholami fue investigador postdoctoral en el laboratorio de investigación de IA de Berkeley en la Universidad de California, Berkeley, donde trabajó con Kurt Keutzer y Michael Mahoney. Este período fue formativo para su cambio hacia el aprendizaje profundo eficiente. En Berkeley, se involucró en el desarrollo del marco de Deep Compression y contribuyó al diseño de la arquitectura SqueezeNet, que demostró que las redes neuronales convolucionales podían lograr alta precisión con parámetros dramáticamente reducidos.
La investigación postdoctoral de Gholami también exploró los fundamentos teóricos de la cuantización. Publicó artículos influyentes sobre los efectos de diferentes esquemas de cuantización en la precisión del modelo, incluyendo un estudio sistemático de técnicas de cuantización post-entrenamiento. Esta investigación ayudó a establecer mejores prácticas para convertir modelos de precisión completa a representaciones de menor bit sin pérdida significativa en el rendimiento.
Contribuciones al Aprendizaje Profundo Eficiente
Las contribuciones más significativas de Gholami se encuentran en el área de compresión y aceleración de modelos. Ha desarrollado métodos para reducir la huella de memoria y el costo computacional de las redes neuronales profundas, haciéndolas desplegables en teléfonos móviles, sistemas embebidos y otras plataformas con recursos limitados.
Una de sus obras notables es el desarrollo de un marco para la cuantización de precisión mixta, que determina automáticamente el ancho de bit óptimo para cada capa de una red neuronal. Este enfoque, basado en resolver un problema de optimización con restricciones, puede lograr hasta 4x de compresión con una degradación mínima de precisión en comparación con la cuantización uniforme. El método ha sido adoptado en varias cadenas de herramientas comerciales para IA de borde.
Gholami también ha contribuido a la comprensión de la relación entre el tamaño del modelo y la dinámica de entrenamiento. Su investigación sobre el "escalado correcto" de las tasas de aprendizaje para entrenamiento con lotes grandes ha sido ampliamente citada, proporcionando orientación práctica para el entrenamiento distribuido en clústeres de GPU. Mostró que la tasa de aprendizaje debería escalarse linealmente con el tamaño del lote hasta cierto punto, después del cual se necesitan programas más sofisticados.
Trabajo en Modelos de Lenguaje Grande
Con el auge de los modelos de lenguaje grandes y las arquitecturas de transformadores, Gholami dirigió su atención a los desafíos únicos que plantean estos modelos. Ha investigado técnicas para cuantizar los pesos y activaciones de los transformadores, que son particularmente sensibles a la precisión numérica debido a la presencia de valores atípicos en las activaciones. Su trabajo en cuantización consciente de valores atípicos ha sido fundamental para permitir el despliegue de modelos como GPT y BERT en hardware de consumo.
Gholami también ha explorado métodos para reducir la sobrecarga de memoria de los mecanismos de atención, que escalan cuadráticamente con la longitud de la secuencia. Contribuyó al desarrollo de patrones de atención dispersa y aproximaciones de bajo rango que mantienen la precisión mientras reducen la complejidad computacional. Estas técnicas son relevantes para procesar documentos largos, secuencias genómicas y otros datos con contexto extendido.
Además, Gholami ha escrito encuestas exhaustivas sobre entrenamiento e inferencia eficientes de modelos de lenguaje grande, sintetizando el estado del arte en áreas como poda, destilación y diseño consciente del hardware. Estas encuestas se han convertido en lectura esencial para los investigadores que entran en el campo.
Nombramientos Académicos y Roles en la Industria
En 2020, Gholami se unió a la facultad del Departamento de Ingeniería Eléctrica y Ciencias de la Computación en la Universidad de California, Berkeley, como Profesor Asistente. Dirige el Laboratorio de IA Eficiente y Escalable, donde supervisa a estudiantes de posgrado que trabajan en temas que van desde la cuantización de bajo bit hasta el aprendizaje federado. Ha recibido varios premios por su enseñanza e investigación, incluyendo el Premio CAREER de la NSF en 2022.
Gholami también ha mantenido estrechos vínculos con la industria. Ha ocupado puestos de investigador visitante en Google DeepMind y Samsung Research, donde colaboró en proyectos relacionados con IA en el dispositivo. Ha servido como consultor para varias startups centradas en inferencia de borde, y sus bibliotecas de código abierto, como el Deep Compression Toolkit, son utilizadas por empresas incluyendo Intel y Qualcomm para optimizar sus aceleradores de redes neuronales.
Publicaciones Seleccionadas e Impacto
Gholami ha sido autor de más de 80 artículos revisados por pares, acumulando más de 20,000 citas a partir de 2024. Algunas de sus obras más influyentes incluyen:
- "A Survey of Quantization Methods for Efficient Neural Network Inference" (2021), que proporciona una taxonomía integral de técnicas de cuantización y ha sido citado más de 1,500 veces.
- "Mixed-Precision Quantization of CNNs via Limited Range Parameterization" (2021), que introduce una parametrización novedosa que mejora el equilibrio entre el ancho de bit y la precisión.
- "Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models" (2022), un artículo que aborda el desafío de los valores atípicos de activación en los transformadores.
Su investigación ha sido reconocida con premios al mejor artículo en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) y en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones (CVPR). También ha sido invitado a dar charlas magistrales en importantes conferencias industriales, incluyendo la Cumbre de Hardware de IA y el Taller de Aprendizaje Profundo Eficiente.
Enseñanza y Mentoría
En Berkeley, Gholami enseña cursos de posgrado sobre aprendizaje automático eficiente y computación paralela. Es conocido por su enfoque práctico, animando a los estudiantes a implementar algoritmos desde cero y evaluarlos en hardware real. Varios de sus estudiantes de doctorado han pasado a puestos de investigación en laboratorios líderes de IA como OpenAI y Anthropic.
Gholami también es un defensor de la investigación reproducible. Ha hecho que el código y los datos de la mayoría de sus artículos estén disponibles públicamente, y mantiene un blog donde explica temas complejos en un lenguaje accesible. Ha organizado múltiples talleres sobre aprendizaje profundo eficiente en NeurIPS e ICML, fomentando una comunidad de investigadores dedicados a la IA sostenible.
Direcciones de Investigación Actuales
A partir de 2025, la investigación de Gholami se centra en tres áreas principales:(1)el desarrollo de métodos de entrenamiento conscientes de la cuantización para modelos de lenguaje grande,(2)el diseño de estrategias de co-optimización de hardware y software energéticamente eficientes para IA de borde,y(3)la aplicación del aprendizaje profundo eficiente a la computación científica, como resolver ecuaciones diferenciales parciales con operadores neuronales.
También está involucrado en proyectos que buscan reducir la huella de carbono del entrenamiento de IA. Su trabajo en precisión adaptativa y mecanismos de salida temprana ha mostrado potencial para reducir el consumo de energía en hasta 30% sin sacrificar la calidad del modelo. Gholami colabora con fabricantes de hardware como AMD y Arm Holdings para asegurar que sus algoritmos se alineen con las capacidades de los procesadores de próxima generación.
Reconocimiento y Premios
Gholami ha recibido numerosos honores a lo largo de su carrera. Además del Premio CAREER de la NSF, fue nombrado Becario de Investigación Sloan en 2023. Ha sido incluido entre los "AI 2000 Most Influential Scholars" en el campo del aprendizaje automático durante tres años consecutivos. Sus contribuciones al software de código abierto fueron reconocidas con el Premio Google Open Source Peer Bonus en 2021.
Sirve en los comités de programa de importantes conferencias y es editor asociado de las IEEE Transactions on Pattern Analysis and Machine Intelligence. Su trabajo ha sido destacado en medios populares, incluyendo artículos en IEEE Spectrum y MIT Technology Review, resaltando el impacto práctico de sus métodos en el despliegue de IA en el mundo real.
Vida Personal e Intereses
Fuera de la investigación, Gholami es un ávido excursionista y fotógrafo. A menudo combina estos intereses durante sus viajes a conferencias académicas, capturando paisajes y escenas urbanas. También es mentor de estudiantes universitarios de primera generación y participa en programas de divulgación para alentar a grupos subrepresentados a seguir carreras en STEM.
Gholami mantiene una presencia activa en las redes sociales, donde comparte ideas sobre artículos recientes y proporciona consejos de carrera a investigadores aspirantes. Es conocido por su espíritu colaborativo y su disposición a interactuar con investigadores junior, a menudo coescribiendo artículos con estudiantes de otras universidades.
Legado y Perspectivas Futuras
El campo del aprendizaje profundo eficiente ha crecido rápidamente, y Gholami es considerado una de sus figuras líderes. Su trabajo no solo ha avanzado el conocimiento académico sino que también ha permitido aplicaciones prácticas en áreas como conducción autónoma, imágenes médicas y traducción de lenguaje en tiempo real. A medida que los modelos de IA continúan creciendo en tamaño, la importancia de la investigación en eficiencia es probable que aumente, y las contribuciones de Gholami seguirán siendo relevantes durante años venideros.
Actualmente está explorando la intersección del aprendizaje profundo eficiente y la IA generativa, con el objetivo de hacer que los modelos de difusión y otras arquitecturas generativas sean más accesibles en dispositivos móviles. Su visión a largo plazo es crear sistemas de IA que no solo sean potentes sino también sostenibles e inclusivos, capaces de funcionar en los miles de millones de dispositivos ya en uso alrededor del mundo.