Inference ist in der künstlichen Intelligenz der Prozess, ein trainiertes Modell mit neuen Eingaben auszuführen, um eine Ausgabe zu erzeugen, im Unterschied zum Training, der früheren Phase, in der die Parameter des Modells aus Daten gelernt werden. Ein Large Language Model, das eine Benutzerfrage beantwortet, ein Bildklassifikator, der ein Foto beschriftet, und ein Diffusionsmodell, das aus einer Textaufforderung ein Bild erzeugt, führen alle Inference durch. Sobald das Training abgeschlossen ist und die Gewichte eines Modells festgelegt sind, ist jede anschließende Verwendung dieses Modells ein Inferenzaufruf.
Kosten und Hardware
Inference hat andere Rechenanforderungen als Training. Das Training eines großen Modells erfordert die Verarbeitung enormer Datensätze über viele Durchläufe und wird typischerweise über Wochen oder Monate auf großen Clustern von GPUs oder TPUs ausgeführt. Inference läuft stattdessen kontinuierlich, oft um Millionen einzelner Anfragen zu bedienen, und ihre Kostenstruktur hängt eher von der Latenz, der Zeit zur Erzeugung einer einzelnen Antwort, und dem Durchsatz, der Anzahl von Anfragen, die ein System pro Hardwareeinheit bedienen kann, ab als vom gesamten Rechenaufwand eines einzelnen Auftrags. Da Sprachmodelle Text Token für Token erzeugen, wobei jedes neue Token von allen vorherigen abhängt, ist Inference für autoregressive Modelle vergleichsweise langsam und speichergebunden statt rechengebunden, was eine Welle spezialisierter Inferenztechnik getrieben hat, die sich von der trainingsfokussierten Forschung unterscheidet. Nvidia und andere Chiphersteller haben Hardware veröffentlicht, die speziell für Inferenz-Workloads optimiert ist, und Cloud-Anbieter bepreisen Inferenz- und Trainingskapazität unterschiedlich.
Optimierungstechniken
Da die Inferenzkosten direkt mit der Nutzung skalieren, ist sie ein wichtiges Ziel für Optimierung. Quantisierung reduziert die numerische Präzision der Gewichte eines Modells, senkt den Speicherbedarf und beschleunigt oft die Berechnung mit einem moderaten Genauigkeitsverlust. Wissensdestillation trainiert ein kleineres Modell, um ein größeres nachzuahmen, und erzeugt ein Modell, das zur Inferenzzeit günstiger zu betreiben ist. Spekulatives Dekodieren verwendet ein kleines, schnelles Entwurfsmodell, um mehrere Token auf einmal vorzuschlagen, die ein größeres Modell dann parallel verifiziert, wodurch die Anzahl langsamer sequenzieller Schritte zur Erzeugung langer Ausgaben reduziert wird. Das Bündeln mehrerer Benutzeranfragen, das Caching zuvor berechneter Zwischenergebnisse wie des Attention-Key-Value-Caches und das Weiterleiten einfacherer Abfragen an kleinere Modelle sind weitere gängige Techniken zur Senkung der Kosten für den Betrieb eines Modells in großem Maßstab.
Testzeit-Compute
Inference wurde traditionell als ein fester, leichter Schritt im Vergleich zum Training betrachtet, aber der Aufstieg von Reasoning-Modellen, die vor der Antwort erweiterte interne Überlegungen erzeugen, führte eine neue Dimension ein: Mehr Compute zur Inferenzzeit auszugeben, ein Ansatz, der als Testzeit-Compute bekannt ist, kann die Ausgabequalität bei schwierigen Problemen erheblich verbessern. Dies verwischte die ältere Annahme, dass nur Trainingszeit-Compute für die Fähigkeit relevant sei, da ein Modell nun Inferenzkosten gegen Genauigkeit bei einem gegebenen Problem eintauschen kann, indem es "länger nachdenkt" – ein Kompromiss, der bei früheren Modellgenerationen nicht in gleicher Weise existierte, da diese unabhängig von der Aufgabenschwierigkeit eine feste Ausgabemenge erzeugten.
Ökonomie
Da weit verbreitete KI-Produkte Inferenzanfragen kontinuierlich bedienen, dominieren Inferenzkosten, nicht Trainingskosten, die langfristige Ökonomie des Betriebs eines eingesetzten Modells, und die Branchendiskussion über KI-Infrastrukturausgaben konzentriert sich zunehmend auf Inferenzkapazität, während die Nutzung skaliert, neben laufenden Investitionen in das Vortraining immer größerer Modelle.