MuZero

MuZero ist ein Computerprogramm, das von der Firma für künstliche Intelligenz DeepMind, einer Tochtergesellschaft von Google, entwickelt wurde, um Spiele zu meistern, ohne deren Regeln und zugrunde liegende Dynamik zu kennen. Seine Veröffentlichung im Jahr 2019 umfasste Benchmarks seiner Leistung in Go, Schach, Shogi und einer Suite von 57 verschiedenen Atari-Spielen. Der Algorithmus verwendet einen Ansatz, der AlphaZero ähnelt, bei dem eine Kombination aus baumbasierter Suche und einem gelernten Modell eingesetzt wird. Er erreichte AlphaZeros Leistung in Schach und Shogi, verbesserte dessen Leistung in Go und verbesserte den Stand der Technik beim Meistern einer Suite von 57 Atari-Spielen (der Arcade Learning Environment), einer visuell komplexen Domäne).

MuZero wurde durch Selbstspiel trainiert, ohne Zugang zu Regeln, Eröffnungsbüchern oder Endspiel-Datenbanken. Der trainierte Algorithmus verwendete dieselbe faltende und residuale Architektur wie AlphaZero, jedoch mit 20 Prozent weniger Berechnungsschritten pro Knoten im Suchbaum.

Geschichte

Am 19. November 2019 veröffentlichte das DeepMind-Team einen Preprint, der MuZero vorstellte. Die Arbeit baute direkt auf dem AlphaZero-Algorithmus auf, der übermenschliche Leistung in Schach, Shogi und Go demonstriert hatte, indem er maschinelles Lernen mit Monte-Carlo-Baumsuche kombinierte. MuZero erweiterte dieses Paradigma, indem er die Anforderung an einen programmierten Simulator der Spielregeln entfernte.

Ableitung von AlphaZero

MuZero (MZ) ist eine Kombination aus der leistungsstarken Planung des AlphaZero-Algorithmus (AZ) mit Ansätzen des modellfreien Verstärkungslernens. Die Kombination ermöglicht ein effizienteres Training in klassischen Planungsbereichen, wie Go, während sie auch Domänen mit viel komplexeren Eingaben in jeder Stufe handhabt, wie visuelle Videospiele. MuZero wurde direkt aus dem AZ-Code abgeleitet und teilt dessen Regeln zur Festlegung von Hyperparametern. Unterschiede zwischen den Ansätzen umfassen:

• AZs Planungsprozess verwendet einen Simulator, der die Regeln des Spiels kennt und explizit programmiert werden muss. Ein neuronales Netzwerk sagt dann die Policy und den Wert einer zukünftigen Position voraus. Vollständige Kenntnis der Spielregeln wird verwendet, um Zustandsübergänge im Suchbaum zu modellieren, verfügbare Aktionen an jedem Knoten sowie die Beendigung eines Zweigs des Baums. MZ hat keinen Zugang zu den Regeln und lernt stattdessen eine mit neuronalen Netzwerken.

.

• AZ hat ein einzelnes Modell für das Spiel(vom Brettzustand zu Vorhersagen); MZ hat getrennte Modelle für die Repräsentation des aktuellen Zustands(vom Brettzustand in seine interne Einbettung), die Dynamik von Zuständen(wie Aktionen Repräsentationen von Brettzuständen verändern) und die Vorhersage von Policy und Wert einer zukünftigen Position(gegeben eine Repräsentation eines Zustands).

• MZs verborgenes Modell kann komplex sein, und es könnte sich herausstellen, dass es Berechnungen beherbergen kann; die Erforschung der Details des verborgenen Modells in einer trainierten Instanz von MZ ist ein Thema für zukünftige Erkundung.

• MZ erwartet kein Zwei-Spieler-Spiel, bei dem der Gewinner alles bekommt. Es arbeitet mit Standardszenarien des Verstärkungslernens, einschließlich Einzel-Agenten-Umgebungen mit kontinuierlichen Zwischenbelohnungen, möglicherweise beliebiger Größe und mit Zeitdiskontierung. AZ wurde für Zwei-Spieler-Spiele entworfen, die gewonnen, unentschieden oder verloren werden konnten.

Vergleich mit R2D2

Der bisherige Stand der Technik beim Lernen, die Suite von Atari-Spielen zu spielen, war R2D2, der Recurrent Replay Distributed DQN. MuZero übertraf sowohl R2D2s mittlere als auch mediane Leistung über die Suite von Spielen, obwohl es nicht in jedem Spiel besser abschnitt.

Training und Ergebnisse

MuZero verwendete 16 Tensor-Processing-Units der dritten Generation(TPUs) für das Training und 1000 TPUs für das Selbstspiel bei Brettspielen, mit 800 Simulationen pro Schritt sowie 8 TPUs für das Training und 32 TPUs für das Selbstspiel bei Atari-Spielen, mit 50 Simulationen pro Schritt. AlphaZero verwendete 64 TPUs der zweiten Generation für das Training und 5000 TPUs der ersten Generation für das Selbstspiel. Da das TPU-Design verbessert wurde(die Chips der dritten Generation sind einzeln 2x so leistungsstark wie Chips der zweiten Generation, mit weiteren Fortschritten bei Bandbreite und Vernetzung über Chips hinweg in einem Pod), sind dies vergleichbare Trainingsaufbauten. R2D2 wurde 5 Tage lang über 2 Millionen Trainingsschritte trainiert.

Erste Ergebnisse

MuZero erreichte AlphaZeros Leistung in Schach und Shogi nach etwa 1 Million Trainingsschritten. Es erreichte AZs Leistung in Go nach 500.000 Trainingsschritten und übertraf sie nach 1 Million Schritten. Es erreichte R2D2s mittlere und mediane Leistung über die Atari-Spielsuite nach 500.000 Trainingsschritten und übertraf sie nach 1 Million Schritten, obwohl es bei 6 Spielen in der Suite nie gut abschnitt.

Reaktionen und verwandte Arbeiten

MuZero wurde als bedeutender Fortschritt gegenüber AlphaZero angesehen und als verallgemeinerbarer Schritt nach vorn in unüberwachtem Lernen betrachtet. Die Arbeit wurde als Förderung des Verständnisses angesehen, wie Systeme aus kleineren Komponenten zusammengesetzt werden können, eine Entwicklung auf Systemebene eher als eine reine Entwicklung des maschinellen Lernens.

Während nur Pseudocode vom Entwicklungsteam veröffentlicht wurde, erstellte Werner Duvaud eine Open-Source-Implementierung, die darauf basierte. MuZero wurde als Referenzimplementierung in anderen Arbeiten verwendet, beispielsweise um modellbasiertes Verhalten zu erzeugen.

Ende 2021 wurde eine effizientere Variante von MuZero vorgeschlagen, genannt EfficientZero. Sie erreicht 194,3 Prozent mittlere menschliche Leistung und 109,0 Prozent mediane Leistung beim Atari-100k-Benchmark mit nur zwei Stunden Echtzeit-Spielerfahrung. Anfang 2022 wurde eine Variante von MuZero vorgeschlagen, um stochastische Spiele(zum Beispiel 2048, Backgammon) zu spielen, genannt Stochastic MuZero, die Nachzustandsdynamik und Zufallscodes verwendet, um die stochastische Natur der Umgebung beim Training des Dynamiknetzwerks zu berücksichtigen.

Im Februar 2022 berichtete DeepMind über eine erste Anwendung von MuZero auf eine reale Aufgabe, in Zusammenarbeit mit YouTube, um die Videokompression im Open-Source-Codec VP9 zu verbessern. Eine Version namens MuZero-RC ersetzte VP9s Standard-Ratenkontrollmechanismus, indem sie den Quantisierungsparameter für jeden Frame auswählte, und erreichte eine durchschnittliche Bitratenreduktion von 4 Prozent über eine vielfältige Menge von Videos ohne Qualitätsverschlechterung.

Siehe auch

• Allgemeines Spielspielen

• Unüberwachtes Lernen