AlphaZero ist ein Verstärkungslern-System, das von DeepMind entwickelt wurde und Schach, Shogi und Go auf übermenschlichem Niveau spielen lernte, indem es einen einzigen allgemeinen Algorithmus und keine von Menschen erzeugten Spieldaten verwendete. DeepMind kündigte AlphaZero in einem im Dezember 2017 veröffentlichten Papier an, das ein System beschreibt, das, ausgehend nur von den Regeln jedes Spiels, vollständig durch Selbstspiel lernte, indem es ein tiefes neuronales Netzwerk mit Monte-Carlo-Baumsuche kombinierte, um Positionen zu bewerten und Züge auszuwählen, und dieses Netzwerk dann durch die Ergebnisse von Spielen gegen sich selbst verbesserte.
Beziehung zu AlphaGo
AlphaZero verallgemeinerte den Selbstspiel-Ansatz, der erstmals von AlphaGo Zero demonstriert wurde, der Version von AlphaGo, die Go rein durch Selbstspiel ohne menschliche Spieldaten gelernt hatte, auf weitere Spiele. Während AlphaGo und AlphaGo Zero auf Go spezialisiert waren, verwendete AlphaZero dieselbe zugrunde liegende Architektur und dasselbe Trainingsverfahren, ohne spielspezifische Anpassungen über die Regeln hinaus, um auch in Schach und Shogi übermenschliche Leistungen zu erreichen. Dies zeigte, dass der Selbstspiel-Ansatz des Verstärkungslernens kein Go-spezifischer Trick war, sondern eine wirklich allgemeine Methode zur Beherrschung von Spielen mit perfekter Information.
Schachergebnis
AlphaZeros Schachergebnis erregte besondere Aufmerksamkeit sowohl in der KI- als auch in der Schachgemeinschaft, da Schach eine viel längere Geschichte der Entwicklung von Computerschach-Engines hatte als Go, die zwei Jahrzehnte lang von traditionellen Engines mit tiefen, handoptimierten Brute-Force-Suchen dominiert wurde, am bekanntesten Stockfish. Nach nur vier Stunden Selbstspiel-Training, ohne Eröffnungsbücher, Endspieldatenbanken oder anderes schachspezifisches menschliches Wissen über die Grundregeln hinaus, besiegte AlphaZero Stockfish in einem Spiel mit 100 Partien. Kommentatoren, darunter Großmeister, die die Partien überprüften, stellten fest, dass AlphaZeros Schachspiel einen unverwechselbaren Stil zeigte, der langfristige Figurenmobilität und Königsicherheit über die materialzählenden Heuristiken traditioneller Engines stellte, und häufig Opfer brachte, die dauerhafte positionelle Vorteile statt sofortigen Materialgewinns erzeugten - ein Stil, den einige als intuitiver oder ästhetisch auffälliger beschrieben als den früherer Engines.
Bedeutung
AlphaZeros Demonstration, dass ein einzelner Selbstspiel-Verstärkungslernalgorithmus mehrere verschiedene Spiele mit perfekter Information ohne domänenspezifische Technik meistern konnte, wurde als wichtiger Schritt hin zu allgemeineren Lernsystemen angesehen, obwohl AlphaZero auf vollständig beobachtbare, deterministische Zwei-Spieler-Spiele beschränkt blieb und sich nicht auf die Art offener, realer Aufgaben erstreckte, die mit künstlicher allgemeiner Intelligenz verbunden sind. Seine Architektur und Selbstspiel-Trainingsmethodik beeinflussten spätere DeepMind-Forschung, einschließlich MuZero, ein Nachfolgesystem, das lernte, Spiele zu spielen, auch solche mit unbekannten Regeln, indem es ein internes Weltmodell der Umgebung lernte, anstatt die Regeln direkt zu erhalten. AlphaZeros Schachpartien wurden anschließend intensiv von professionellen Schachspielern und Engine-Entwicklern untersucht, und einige seiner stilistischen Tendenzen beeinflussten das Design und die Bewertung späterer Schach-Engines, einschließlich Open-Source-Engines auf neuronaler Netzwerkbasis, die ähnliche Selbstspiel-Trainingsmethoden übernahmen.
Rezeption
AlphaZero wird in der KI-Forschung weithin als wegweisende Demonstration der Kraft von Selbstspiel-Verstärkungslernen in Kombination mit tiefen neuronalen Netzwerken und Suche zitiert, die die Bedeutung früherer AlphaGo-Ergebnisse, einschließlich des Siegs 2016 über Lee Sedol, erweiterte und DeepMinds breitere Forschungsnarrative verstärkte, dass allgemeine Lernalgorithmen bei ausreichender Rechenleistung Jahrzehnte angesammelten menschlichen und handoptimierten Domänenwissens in klar definierten Bereichen erreichen oder übertreffen könnten.