ムーアの法則は、1965年にインテルの共同創業者ゴードン・ムーアが提唱した観察であり、集積回路上のトランジスタ数がおよそ2年ごとに倍増するというものである。この経験則は40年以上にわたって驚くべき一貫性を保ち、計算能力の指数関数的成長を表す一般的な略語となった。人工知能の分野では、「ムーアの法則」は関連するが異なる傾向、すなわちAIモデルの訓練と実行に投入される計算能力の急速な成長を大まかに指すことが多く、これは古典的なトランジスタのスケーリングよりも速いペースで進むことがある。
従来のトランジスタ密度に関するムーアの法則は、2010年代にチップメーカーが微細化の物理的限界に近づくにつれて著しく減速し始め、半導体業界は純粋な密度向上ではなく、専用アーキテクチャ、チップ積層、大型ダイに依存するようになった。
AIにおける計算スケーリング
2018年にOpenAIが発表した広く引用される分析「AI and Compute」は、2012年から2018年の間に最大規模のAI訓練実行で使用される計算量がおよそ3.4か月ごとに倍増したことを明らかにした。これはムーアの法則の古典的な2年での倍増をはるかに上回るペースであり、チップの改良だけではなく、研究者がより大規模な訓練実行に費用を費やす意欲が高まったことによって推進された。この計算量の成長は、パラメータ、データ、計算量が一緒に増加するにつれてモデルの性能が予測可能に向上することを記述する経験的なScaling lawsの基盤となっている。
曲線の背後にあるハードウェア
汎用のGPUは、もともとグラフィックスレンダリング用に構築されたが、その並列アーキテクチャがニューラルネットワークの中心にある行列乗算に適しているため、AI訓練の主要なハードウェアとなった。NvidiaのCUDAソフトウェアプラットフォームは2006年に発表され、2012年のAlexNetの成果以降に深層学習が本格化すると、同社に持続的な優位性をもたらした。GoogleのカスタムTPUアクセラレータは2016年に初めて導入され、ニューラルネットワークのワークロードに特化して最適化された代替経路を提供し、Geminiなどのモデルの訓練に使用されてきた。NvidiaのCEOであるジェンスン・フアンは、AI計算におけるハードウェアとソフトウェアの複合的な進歩が現在では歴史的なムーアの法則を上回っていると主張しており、この主張は2020年代半ばまでにNvidiaが世界で最も価値のある企業の一つに上昇する原動力となった。
限界と反論
電力消費の増加、チップ製造コスト、データセンターの建設は、トランジスタ密度自体とは異なる制約要因となっている。2025年1月のDeepSeekショックのような出来事は、競争力のあるモデルが想定よりもはるかに低コストで訓練されたと報じられ、生の計算スケーリングがより良いAIへの唯一の道であるかどうかについての議論を再燃させた。混合専門家やQuantizationなどの技術は、単に計算量を増やすのではなく、計算単位あたりの能力を引き出す方法として提案されている。