La ley de Moore es la observación, realizada por el cofundador de Intel Gordon Moore en 1965, de que el número de transistores en un circuito integrado se duplica aproximadamente cada dos años, una regla empírica que se mantuvo con una consistencia notable durante más de cuatro décadas y se convirtió en una abreviatura general para el crecimiento exponencial de la potencia informática. En inteligencia artificial, la "ley de Moore" se invoca a menudo de manera laxa para describir una tendencia relacionada pero distinta: el rápido crecimiento de la potencia computacional aplicada al entrenamiento y ejecución de modelos de IA, que en ocasiones ha avanzado incluso más rápido que la escala clásica de transistores.
La ley de Moore tradicional de densidad de transistores comenzó a desacelerarse significativamente en la década de 2010 a medida que los fabricantes de chips se acercaban a los límites físicos de la miniaturización, lo que llevó a la industria de semiconductores a depender más de arquitecturas especializadas, apilamiento de chips y troqueles más grandes en lugar de ganancias puras de densidad.
Escalado de cómputo en IA
Un análisis de 2018 ampliamente citado de OpenAI, "AI and Compute", encontró que la cantidad de cómputo utilizada en los mayores entrenamientos de IA se duplicaba aproximadamente cada 3,4 meses entre 2012 y 2018, superando con creces la duplicación clásica de dos años de la ley de Moore, impulsado por la creciente disposición de los investigadores a gastar en ejecuciones de entrenamiento más grandes más que por mejoras de chips por sí solas. Este crecimiento de cómputo subyace a las leyes de escalado empíricas que describen cómo el rendimiento del modelo mejora de manera predecible a medida que los parámetros, los datos y el cómputo aumentan juntos.
Hardware detrás de la curva
Los GPU de propósito general, originalmente construidos para renderizado gráfico, se convirtieron en el hardware dominante para el entrenamiento de IA porque su arquitectura paralela se adapta a las multiplicaciones de matrices en el núcleo de las redes neuronales. La plataforma de software CUDA de Nvidia, lanzada en 2006, le dio una ventaja duradera una vez que el aprendizaje profundo despegó tras el resultado de AlexNet en 2012. Los aceleradores personalizados TPU de Google, implementados por primera vez en 2016, ofrecieron una vía alternativa optimizada específicamente para cargas de trabajo de redes neuronales y se han utilizado para entrenar modelos como Gemini. El CEO de Nvidia, Jensen Huang, ha argumentado que las ganancias combinadas de hardware y software en el cómputo de IA ahora superan la ley de Moore histórica, una afirmación central para el ascenso de Nvidia a una de las empresas más valiosas del mundo a mediados de la década de 2020.
Límites y reacciones
El creciente consumo de energía, los costos de fabricación de chips y la construcción de centros de datos se han convertido en restricciones vinculantes distintas de la densidad de transistores en sí. Eventos como el shock de DeepSeek de enero de 2025, en el que se informó que un modelo competitivo fue entrenado mucho más barato de lo asumido, renovaron el debate sobre si el escalado de cómputo bruto es el único camino hacia una mejor IA, con técnicas como mezcla de expertos y cuantización ofrecidas como formas de extraer más capacidad por unidad de cómputo en lugar de simplemente gastar más cómputo.