ARC-AGI, kurz für Abstraction and Reasoning Corpus for Artificial General Intelligence, ist ein Benchmark, der von Francois Chollet, dem Entwickler des Keras-Deep-Learning-Frameworks, erstellt und erstmals 2019 veröffentlicht wurde. Er besteht aus visuellen Gitterrätseln, bei denen ein Löser eine abstrakte Transformationsregel aus einer kleinen Anzahl von Beispiel-Eingabe-Ausgabe-Gitterpaaren ableiten und diese Regel dann korrekt auf ein neues Testgitter anwenden muss.
Zweck
ARC-AGI wurde ausdrücklich als Reaktion auf die Beobachtung entwickelt, dass viele KI-Benchmarks, so schwierig sie auch sein mögen, im Wesentlichen durch groß angelegtes Musterabgleichen oder Auswendiglernen gelöst werden konnten, anstatt durch echtes Denken oder Verallgemeinerung. Chollet argumentierte in einem begleitenden Papier mit dem Titel „On the Measure of Intelligence“, dass Intelligenz anhand der Effizienz des Fähigkeitserwerbs bei neuartigen Aufgaben gemessen werden sollte, nicht anhand der rohen Leistung bei einer festen, erlernbaren Fähigkeit. Er entwarf die Rätsel von ARC-AGI so, dass jedes eine eigene, verallgemeinerbare Abstraktion erfordert, die auf Konzepten basiert, die Menschen früh erwerben, wie Symmetrie, Zählen, Enthaltensein und Objektpermanenz, und bewusst so gewählt ist, dass sie schwer durch auswendig gelernte Muster zu umgehen ist.
Schwierigkeit für KI-Systeme
Jahrelang nach seiner Veröffentlichung erwies sich ARC-AGI als bemerkenswert resistent gegenüber sowohl klassischem maschinellem Lernen als auch frühen großen Sprachmodellen, wobei selbst leistungsfähige Modelle der GPT-4-Klasse nur einen kleinen Teil des öffentlichen Bewertungssatzes lösten, während die meisten Menschen, einschließlich Kinder, die Mehrheit der Rätsel ohne spezielles Training lösen. Diese Kluft zwischen starker Leistung bei konventionellen Benchmarks wie MMLU und schwacher Leistung bei ARC-AGI wurde häufig als Beleg dafür angeführt, dass Skalierung allein, ohne qualitativ andere Denkfähigkeit, nicht ausreichte, um eine menschenähnliche Verallgemeinerung zu erreichen.
Fortschritte mit Denkmodellen
Die Kluft verringerte sich erheblich mit dem Aufkommen von Denkmodellen, die erweiterte Testzeit-Berechnung und Chain-of-Thought-artige Suche nutzen, insbesondere OpenAIs o1 und seine Nachfolger, die deutlich höhere ARC-AGI-Werte erzielten als frühere Nicht-Denk-Modelle, wenn auch oft zu erheblich höheren Inferenzkosten pro Rätsel. Dieser Fortschritt wurde von einigen als Beleg dafür gewertet, dass Suche und Überlegung zur Inferenzzeit, nicht nur die Skalierung des Vortrainings, ein sinnvoller Weg zu allgemeinerem Denken sei, während andere warnten, dass die Gewinne teilweise darauf zurückzuführen seien, dass Modelle ARC-AGI-ähnliche Rätselmuster aus öffentlichen Leaderboard-Daten lernten, anstatt auf eine vollständig allgemeine Verbesserung des Denkens.
Format und Preis
ARC-AGI-Rätsel werden absichtlich teilweise privat gehalten, mit einem nicht veröffentlichten Bewertungssatz, der zurückgehalten wird, um die Kontaminations-Probleme zu begrenzen, die frühere statische Benchmarks untergruben. Ein damit verbundener öffentlicher Wettbewerb, der ARC Prize, hat Geldpreise für Systeme ausgelobt, die starke Leistungen auf dem zurückgehaltenen Satz erzielen, und zieht sowohl akademische als auch industrielle Teilnehmer an. Zudem werden regelmäßig schwerere Nachfolgeversionen veröffentlicht, einschließlich ARC-AGI-2, da frühere Versionen sich der Sättigung näherten.
Bedeutung
ARC-AGI wird häufig in Debatten über AGI-Zeitpläne und darüber, ob aktuelle Deep-Learning-Ansätze ausreichen, um allgemeine Intelligenz zu erreichen, angeführt, gerade weil sein Designziel, dem Auswendiglernen zu widerstehen und dennoch für Menschen einfach zu bleiben, es zu einem seltenen Benchmark macht, bei dem große Unterschiede zwischen menschlicher und KI-Leistung bis weit in die Ära hochleistungsfähiger großer Sprachmodelle bestehen blieben. Er bleibt einer der am genauesten beobachteten Indikatoren für echten Denkfortschritt, der sich von Benchmarks unterscheidet, die anfälliger für Skalierung und Daten allein sind.