A lei de Moore é a observação, feita pelo cofundador da Intel, Gordon Moore, em 1965, de que o número de transistores em um circuito integrado dobra aproximadamente a cada dois anos, uma regra prática que se manteve com notável consistência por mais de quatro décadas e se tornou uma abreviação geral para o crescimento exponencial do poder computacional. Em inteligência artificial, a "lei de Moore" é frequentemente invocada de forma vaga para descrever uma tendência relacionada, mas distinta: o rápido crescimento do poder computacional aplicado ao treinamento e à execução de modelos de IA, que por vezes avançou ainda mais rápido do que o escalonamento clássico de transistores.
A lei de Moore tradicional de densidade de transistores começou a desacelerar significativamente na década de 2010, à medida que os fabricantes de chips se aproximavam dos limites físicos da miniaturização, levando a indústria de semicondutores a depender mais de arquiteturas especializadas, empilhamento de chips e dies maiores, em vez de ganhos puros de densidade.
Escalonamento computacional em IA
Uma análise amplamente citada de 2018 da OpenAI, "AI and Compute", descobriu que a quantidade de computação usada nos maiores treinamentos de IA havia dobrado aproximadamente a cada 3,4 meses entre 2012 e 2018, superando em muito a duplicação clássica de dois anos da lei de Moore, impulsionada pela crescente disposição dos pesquisadores em gastar em treinamentos maiores, e não apenas por melhorias nos chips. Esse crescimento computacional sustenta as leis de escalonamento empíricas que descrevem como o desempenho do modelo melhora de forma previsível à medida que parâmetros, dados e computação aumentam juntos.
Hardware por trás da curva
As GPUs de uso geral, originalmente construídas para renderização gráfica, tornaram-se o hardware dominante para treinamento de IA porque sua arquitetura paralela é adequada às multiplicações de matrizes no núcleo das redes neurais. A plataforma de software CUDA da Nvidia, lançada em 2006, deu-lhe uma vantagem duradoura quando o aprendizado profundo decolou após o resultado do AlexNet em 2012. Os aceleradores personalizados TPU do Google, implantados pela primeira vez em 2016, ofereceram um caminho alternativo otimizado especificamente para cargas de trabalho de redes neurais e foram usados para treinar modelos como o Gemini. O CEO da Nvidia, Jensen Huang, argumentou que os ganhos combinados de hardware e software na computação de IA agora superam a lei de Moore histórica, uma afirmação central para a ascensão da Nvidia a uma das empresas mais valiosas do mundo em meados da década de 2020.
Limites e resistência
O aumento do consumo de energia, os custos de fabricação de chips e a construção de data centers tornaram-se restrições vinculantes distintas da própria densidade de transistores. Eventos como o choque DeepSeek de janeiro de 2025, no qual um modelo competitivo foi supostamente treinado de forma muito mais barata do que se supunha, renovaram o debate sobre se o escalonamento bruto de computação é o único caminho para uma IA melhor, com técnicas como mistura de especialistas e quantização oferecidas como formas de extrair mais capacidade por unidade de computação, em vez de simplesmente gastar mais computação.