Probabilistische grafische Modelle (PGMs, auch bekannt als grafische Modelle oder strukturierte probabilistische Modelle) sind probabilistische Modelle, bei denen ein Graph die bedingte Abhängigkeitsstruktur zwischen Zufallsvariablen ausdrückt. Sie werden häufig in der Wahrscheinlichkeitstheorie, Statistik - insbesondere Bayes'scher Statistik - und maschinellem Lernen eingesetzt. Indem sie Abhängigkeiten als Kanten und Unabhängigkeiten als Graphentrennungen kodieren, bieten PGMs eine kompakte Darstellung komplexer gemeinsamer Verteilungen, was Inferenz und Lernen in vielen Anwendungen handhabbar macht.
Die Kernidee besteht darin, eine Verteilung über einen mehrdimensionalen Raum mithilfe eines Graphen darzustellen, wobei Knoten Zufallsvariablen entsprechen und Kanten probabilistische Abhängigkeiten anzeigen. Diese graphbasierte Faktorisierung erfasst eine Menge bedingter Unabhängigkeiten, die in der Verteilung gelten, und ermöglicht die effiziente Berechnung marginaler und bedingter Wahrscheinlichkeiten. Es existieren zwei Hauptzweige grafischer Darstellungen: Bayes'sche Netze (gerichtet) und Markov-Zufallsfelder(ungerichtet. Beide teilen die Eigenschaften der Faktorisierung und Unabhängigkeiten, unterscheiden sich jedoch in den Arten von Unabhängigkeiten, die sie kodieren können, und in der resultierenden Faktorisierung der Verteilung.
Arten probabilistischer grafischer Modelle
Bayes'sche Netze
Ein Bayes'sches Netz, auch gerichtetes grafisches Modell oder Überzeugungsnetz genannt, verwendet einen gerichteten azyklischen Graphen(DAG), um die gemeinsame Wahrscheinlichkeitsverteilung darzustellen. In einem solchen Modell faktorisiert die gemeinsame Wahrscheinlichkeit der Zufallsvariablen \(X_1, \ldots, X_n\) als Produkt bedingter Verteilungen:
\[ P[X_1, \ldots, X_n] = \prod_{i=1}^n P[X_i \mid \text{pa}(X_i)] \]
wobei \(\text{pa}(X_i)\) die Menge der Eltern des Knotens \(X_i\) bezeichnet(Knoten mit Kanten, die zu \(X_i\) gerichtet sind. Diese Faktorisierung impliziert, dass jeder Knoten bedingt unabhängig von seinen Nicht-Nachkommen gegeben seiner Eltern ist. Das Konzept der d-Trennung bietet ein graphentheoretisches Kriterium zur Bestimmung bedingter Unabhängigkeiten zwischen Variablensätzen. In Bayes'schen Netzen sind lokale Unabhängigkeiten(auf Eltern-Kind-Beziehungen basierend)äquivalent zu globalen Unabhängigkeiten(auf d-Trennung basierend. Klassische Modelle des maschinellen Lernens wie verborgene Markov-Modelle, neuronale Netze, und Markov-Modelle variabler Ordnung können als Sonderfälle Bayes'scher Netze betrachtet werden. Eines der einfachsten Bayes'schen Netze ist der Naive-Bayes-Klassifikator, der bedingte Unabhängigkeit der Merkmale gegeben der Klassenbezeichnung annimmt.
Ungerichtete grafische Modelle
Ungerichtete grafische Modelle, auch Markov-Zufallsfelder(MRFs) genannt, stellen Abhängigkeiten mithilfe ungerichteter Kanten dar. In einem ungerichteten Graphen impliziert das Vorhandensein einer Kante eine Abhängigkeit zwischen den entsprechenden Zufallsvariablen, aber das Fehlen einer Kante impliziert bedingte Unabhängigkeit gegeben allen anderen Variablen. Beispielsweise, in einem Graphen, in dem die Knoten B, C, und D alle nur mit Knoten A verbunden sind, sind die Variablen B, C, und D bedingt unabhängig gegeben A. Die gemeinsame Wahrscheinlichkeitsverteilung kann dann als Produkt nicht-negativer Funktionen über Cliquen(vollständig verbundene Teilmengen)des Graphen faktorisiert werden. Wenn der Graph beispielsweise die Kanten AB, AC, und AD hat, kann die gemeinsame Verteilung geschrieben werden als:
\[ P[A,B,C,D]] = f_{AB}[A,B] \cdot f_{AC}[A,C] \cdot f_{AD}[A,D] \]
für einige nicht-negative Funktionen \(f_{AB}, f_{AC}, f_{AD}\). Diese Faktorisierung spiegelt die lokale Struktur der Abhängigkeiten wider.
Zyklische gerichtete grafische Modelle
Während Bayes'sche Netze typischerweise azyklische Graphen erfordern, erlauben einige Modelle Zyklen. In einem zyklischen gerichteten grafischen Modell kann jede Variable auf eine Weise von ihren Eltern abhängen, die zu Rückkopplungsschleifen führen kann. Beispielsweise könnte ein Graph mit einem Zyklus eine gemeinsame Dichte vorschlagen, die wie folgt faktorisiert:
\[ P[A,B,C,D]] = P[A] \cdot P[B] \cdot P[C,D \mid A,B] \]
aber andere Interpretationen sind möglich. Zyklische Modelle sind aufgrund von Komplexitäten bei Inferenz und Interpretation weniger verbreitet.
Andere Typen
Mehrere andere Typen probabilistischer grafischer Modelle erweitern die grundlegenden Rahmenwerke:
- Abhängigkeitsnetze: Diese erlauben Zyklen und stellen bedingte Verteilungen für jede Variable gegeben allen anderen dar.
- Baum-erweiterte Klassifikatoren(TAN): Dies sind Bayes'sche Netze, die eine Naive-Bayes-Struktur mit Kanten zwischen Merkmalen erweitern, um Abhängigkeiten zu erfassen.
- Gezieltes Bayes'sches Netzwerklernen(TBNL): Dies konzentriert sich auf das Lernen eines Netzwerks, das für eine spezifische Zielvariable optimiert ist.
.
- Faktorgraphen: Dies sind ungerichtete bipartite Graphen, die Variablen und Faktoren verbinden, wobei jeder Faktor eine Funktion über die Variablen darstellt, die er verbindet. Faktorgraphen sind nützlich zur Implementierung von Belief-Propagation.
.
- Cliquenbäume oder Junction-Bäume: Dies sind Bäume von Cliquen, die im Junction-Tree-Algorithmus für exakte Inferenz verwendet werden.
.
- Kettengraphen: Diese Graphen können sowohl gerichtete als auch ungerichtete Kanten haben, aber keine gerichteten Zyklen, was eine Mischung von Abhängigkeitstypen ermöglicht.
Anwendungen und Bedeutung
Probabilistische grafische Modelle sind grundlegend in Machine learning, wo sie ein prinzipielles Rahmenwerk für das Denken unter Unsicherheit bieten. Sie werden in Artificial intelligence für Aufgaben wie Generative AI verwendet, wo Modelle wie Large language models und Transformer (architecture)s, obwohl oft auf Neural networks basierend, durch probabilistische Linsen interpretiert werden können. PGMs werden auch in Bereichen wie Computer Vision, natürlicher Sprachverarbeitung, Bioinformatik, und Robotik angewendet. Ihre Fähigkeit, Domänenwissen mit datengetriebenem Lernen zu kombinieren, macht sie zu leistungsfähigen Werkzeugen für sowohl Inferenz als auch Entscheidungsfindung.
Verwandte Konzepte
Probabilistische grafische Modelle sind eng verwandt mit Deep learning und Neural networks, da viele tiefe Architekturen als Sonderfälle grafischer Modelle betrachtet werden können. Beispielsweise sind verborgene Markov-Modelle ein klassisches Beispiel. Forscher wie Michael I. Jordan und Daphne Koller haben die Theorie und Anwendung von PGMs erheblich vorangetrieben. Moderne Entwicklungen in Generative AI und Large language models stützen sich oft auf probabilistische Prinzipien, auch wenn sie nicht explizit als grafische Modelle formuliert sind.