Im Kontext der künstlichen Intelligenz bezeichnet Compute die gesamte Verarbeitungskapazität, Speicherbandbreite und Hardware-Infrastruktur, die zum Trainieren, Feinabstimmen und Bereitstellen von Modellen des maschinellen Lernens verwendet wird. Der Begriff gewann mit dem Aufstieg des Deep Learning an Bedeutung, wo der Umfang der Berechnungen oft die Fähigkeiten des Modells bestimmt. Compute umfasst nicht nur die rohe Prozessorgeschwindigkeit, sondern auch die Effizienz des Datentransfers, die Parallelisierung und die Energie, die für kontinuierliche Operationen erforderlich ist.
Die Nachfrage nach Compute ist seit den frühen 2010er-Jahren exponentiell gewachsen, angetrieben durch die zunehmende Größe von neuronalen Netzen und die Menge an Trainingsdaten. Dieses Wachstum hat das Hardware-Design, die Angebote von Cloud-Diensten und die strategischen Prioritäten großer Technologieunternehmen beeinflusst. Infolgedessen ist Compute zu einer zentralen Kennzahl in Diskussionen über den Fortschritt, die Kosten und die Umweltauswirkungen von KI geworden.
Historischer Kontext
Das Konzept von Compute in der KI geht dem modernen Deep Learning voraus. Frühe Schachcomputer und Expertensysteme stützten sich auf eine im Vergleich zu heutigen Standards bescheidene Rechenleistung. Die Perceptron-Ära der 1950er- und 1960er-Jahre nutzte einfache arithmetische Operationen, aber Einschränkungen der Hardware stoppten den Fortschritt. Das Wiederaufleben neuronaler Netze in den 1980er-Jahren, angeführt von Forschern wie Geoffrey Hinton und Yann LeCun, erforderte erheblichere Rechenressourcen, wenn auch weit unter dem heutigen Niveau.
Der entscheidende Wandel erfolgte um 2012, als ein tiefes konvolutionales Netzwerk, das auf NVIDIA-GPUs trainiert wurde, einen Durchbruch in der Bilderkennung erzielte. Dies zeigte, dass parallele Verarbeitung das Training um Größenordnungen beschleunigen konnte. Anschließend wurde die Übernahme von GPUs zum Standard, und der Begriff „Compute“ begann als Kurzform für die aggregierte Hardware-Kapazität zu dienen, die KI-Aufgaben zugewiesen wird.
Hardware und Infrastruktur
Compute wird über mehrere Hardware-Klassen bereitgestellt. Zentrale Prozessoreinheiten (CPUs) übernehmen allgemeine Aufgaben, sind jedoch ineffizient für die Matrixoperationen, die im Deep Learning zentral sind. GPUs, ursprünglich für Grafiken entwickelt, zeichnen sich durch parallele Arbeitslasten aus und wurden zur dominierenden Wahl für das Training. Unternehmen wie AMD und Intel haben konkurrierende Beschleuniger entwickelt, während Arm-basierte Designs in Edge-Geräten erscheinen.
Spezialisierte KI-Chips sind entstanden, um spezifische Arbeitslasten zu optimieren. Google DeepMind und Google Cloud verwenden Tensor Processing Units (TPUs), kundenspezifische ASICs, die für Inferenz und Training neuronaler Netze entwickelt wurden. AWS Trainium erfüllt eine ähnliche Rolle in Amazon Web Services. Startups wie Groq und SambaNova bieten alternative Architekturen an, während Graphcore die Intelligence Processing Unit (IPU) entwickelte, bevor sie 2024 von SoftBank übernommen wurde.
Die Infrastruktur umfasst auch Speicher, Datenspeicherung und Netzwerke. Hochbandbreitenspeicher (HBM) ist entscheidend, um Prozessoren mit Daten zu versorgen, und schnelle Verbindungen wie NVLink und InfiniBand ermöglichen die Skalierung über mehrere Chips. Cloud-Anbieter, darunter Microsoft Azure, Oracle Cloud und Alibaba Cloud, bieten On-Demand-Compute-Instanzen an, sodass Forscher ohne eigenen Hardwarebesitz auf große Cluster zugreifen können.
Skalierung und Training
Die Beziehung zwischen Compute und Modellleistung wird oft durch Skalierungsgesetze beschrieben. Forschung von OpenAI aus dem Jahr 2020 zeigte, dass der Verlust mit zunehmendem Compute, Datensatzgröße und Modellparametern vorhersagbar abnimmt. Diese empirische Erkenntnis förderte den Bau immer größerer Modelle, wie große Sprachmodelle mit Hunderten von Milliarden Parametern. Das Training solcher Modelle erfordert Tausende von Beschleunigern, die über Wochen oder Monate laufen.
Zum Beispiel wird geschätzt, dass GPT-4, das von OpenAI im März 2023 veröffentlicht wurde, Zehntausende von GPUs verwendet hat, obwohl genaue Zahlen nicht offengelegt sind. Die Claude-Modelle von Anthropic und Googles Gemini stützen sich ebenfalls auf massive Compute-Budgets. Die Transformer-Architektur, die 2017 eingeführt wurde, erwies sich als hochgradig parallelisierbar, was sie gut für verteiltes Training über viele Geräte geeignet macht.
Compute beeinflusst auch die Inferenz, den Prozess der Generierung von Ausgaben aus einem trainierten Modell. Während das Training eine einmalige Kosten ist, ist die Inferenz kontinuierlich und erfordert oft geringe Latenz. Techniken wie Modell-Pruning, Quantisierung und Destillation reduzieren die Compute-Anforderungen für die Bereitstellung und ermöglichen KI auf Smartphones und eingebetteten Geräten von Unternehmen wie Apple und Samsung Electronics.
Wirtschaftliche und strategische Implikationen
Die Kosten für Compute sind zu einer Eintrittsbarriere in der KI-Forschung geworden. Das Training eines Spitzenmodells kann zig Millionen Dollar kosten, was die Teilnahme auf große Unternehmen und gut finanzierte Labore beschränkt. Dies hat Bedenken über Machtkonzentration aufgeworfen, da nur wenige Organisationen sich die notwendige Infrastruktur leisten können. Auch Regierungen haben dies bemerkt, wobei Exportkontrollen für fortschrittliche Chips die globalen Lieferketten beeinflussen.
Als Reaktion darauf umfassen Bemühungen zur Demokratisierung von Compute Open-Source-Modelle, föderiertes Lernen und Effizienzforschung. Michael Jordan und andere haben sich für zugänglichere KI eingesetzt, während Initiativen wie das Open Panel darauf abzielen, gemeinsame Ressourcen bereitzustellen. Die wirtschaftlichen Auswirkungen erstrecken sich auf Halbleiterhersteller; TSMC und Broadcom profitieren von der steigenden Nachfrage, und NVIDIA wurde 2024 kurzzeitig zum wertvollsten Unternehmen der Welt.
Zukünftige Richtungen
Das Compute-Wachstum stößt an physikalische Grenzen, einschließlich Energieverbrauch und Wärmeableitung. Rechenzentren machen bereits einen erheblichen Anteil des globalen Stromverbrauchs aus, was Forschung zu effizienteren Algorithmen und Hardware anregt. Quantencomputing, das von D-Wave und anderen verfolgt wird, bleibt experimentell, könnte aber letztendlich Vorteile für spezifische Probleme bieten.
Alternative Paradigmen wie neuromorphes Computing, inspiriert von biologischen Gehirnen, zielen darauf ab, den Energiebedarf zu reduzieren. Forscher am MIT CSAIL und Stanford AI Lab erkunden diese Wege. In der Zwischenzeit setzt sich der Trend zu größeren Modellen fort, wobei einige vorhersagen, dass die Compute-Anforderungen in den kommenden Jahren um den Faktor 10 bis 100 wachsen werden, angetrieben durch Fortschritte in generativer KI und multimodalen Systemen.
Compute bleibt eine grundlegende Ressource für KI und prägt, was technisch möglich und wirtschaftlich machbar ist. Seine Entwicklung wird wahrscheinlich den breiteren Verlauf des Computings widerspiegeln und Leistung, Kosten und Nachhaltigkeit in Einklang bringen.