Das Bradley–Terry-Modell ist ein probabilistisches Modell für paarweise Vergleiche, das 1952 von Ralph A. Bradley und Milton E. Terry eingeführt wurde. Es schätzt die Wahrscheinlichkeit, dass ein Element ein anderes schlägt, basierend auf latenten Fähigkeitswerten, wobei angenommen wird, dass die Gewinnchancen proportional zum Verhältnis der Stärken der Elemente sind. Das Modell wird häufig in Sportrankings, maschinellem Lernen und Präferenzlernen angewendet, einschließlich des Trainings moderner großer Sprachmodelle durch Techniken wie RLHF und RLAIF.
Das Modell definiert die Wahrscheinlichkeit, dass Element \(i\) Element \(j\) schlägt, als \(P(i > j) = \frac{p_i}{p_i + p_j}\), wobei \(p_i\) und \(p_j\) positive Stärkeparameter sind. In der Praxis werden die Parameter oft mithilfe einer Logit-Transformation umgewandelt, was zu einer logistischen Regressionsformulierung führt. Das Modell kann aus beobachteten paarweisen Ergebnissen mittels Maximum-Likelihood-Schätzung geschätzt werden, typischerweise durch iterative Algorithmen wie den Bradley-Terry-EM-Algorithmus oder gradientenbasierte Methoden.
Geschichte und Ursprünge
Das Bradley–Terry-Modell wurde 1952 von Ralph A. Bradley und Milton E. Terry in einem Artikel mit dem Titel „Rank Analysis of Incomplete Block Designs“ (Biometrika) eingeführt. Das Modell wurde ursprünglich für die Analyse paarweiser Vergleiche in experimentellen Designs entwickelt, wie etwa Geschmackstests und Studien zur Verbraucherpräferenz. Es erweiterte frühere Arbeiten zur Methode der paarweisen Vergleiche von Thurstone (1927) und anderen und bot einen flexibleren und statistisch rigoroseren Rahmen.
Im Laufe der Jahrzehnte wurde das Modell auf verschiedene Weise verallgemeinert, einschließlich der Hinzufügung von Unentschieden, Heimvorteilen und dynamischen zeitvariablen Stärken. Es ist zu einem Standardwerkzeug in der Sportanalytik geworden, wo es zur Rangfolge von Teams basierend auf Spielergebnissen verwendet wird, sowie in der Psychometrie zur Messung subjektiver Präferenzen.
Mathematische Formulierung
Der Kern des Bradley–Terry-Modells ist die Wahrscheinlichkeit eines binären Ergebnisses in einem Vergleich. Für zwei Elemente \(i\) und \(j\) mit Stärken \(p_i\) und \(p_j\) ist die Wahrscheinlichkeit, dass \(i\) gewinnt, gegeben durch:
\[ P(i \text{ schlägt } j) = \frac{p_i}{p_i + p_j} \]
Äquivalent dazu, unter Verwendung von Log-Stärken \(\lambda_i = \log p_i\), ist die Log-Odds, dass \(i\) \(j\) schlägt, \(\lambda_i - \lambda_j\). Diese Formulierung macht das Modell zu einem Spezialfall der logistischen Regression, bei der der Prädiktor die Differenz der latenten Werte ist.
Gegeben eine Menge beobachteter Vergleiche ist die Likelihood-Funktion das Produkt der Wahrscheinlichkeiten der beobachteten Ergebnisse. Die Maximum-Likelihood-Schätzung kann mit iterativer proportioneller Anpassung oder Newton-Raphson-Methoden durchgeführt werden. Das Modell ist bis auf eine additive Konstante identifizierbar, daher ist eine Einschränkung erforderlich, wie etwa die Summe der Stärken auf 1 zu setzen oder die Stärke eines Elements zu fixieren.
Anwendungen im maschinellen Lernen
Im modernen maschinellen Lernen spielt das Bradley–Terry-Modell eine entscheidende Rolle im Präferenzlernen und im Reinforcement Learning aus menschlichem Feedback. Beispielsweise vergleichen beim Training von großen Sprachmodellen menschliche Annotatoren Antworten verschiedener Modelle, und das Bradley–Terry-Modell wird verwendet, um diese paarweisen Präferenzen in ein Belohnungsmodell umzuwandeln. Dieses Belohnungsmodell leitet dann die Optimierung des Sprachmodells über Techniken wie RLHF (Reinforcement Learning aus menschlichem Feedback) oder RLAIF (Reinforcement Learning aus KI-Feedback).
Das Modell wird auch in Empfehlungssystemen verwendet, wo Benutzerpräferenzen aus paarweisen Entscheidungen abgeleitet werden, sowie im Information Retrieval für das Lernen von Rankings. Seine Einfachheit und Interpretierbarkeit machen es zu einer beliebten Wahl für die Modellierung vergleichender Urteile.
Erweiterungen und Varianten
Mehrere Erweiterungen des Bradley–Terry-Modells adressieren seine Einschränkungen. Die Davidson-Erweiterung behandelt Unentschieden, indem sie einen Parameter für die Wahrscheinlichkeit eines Gleichstands hinzufügt. Das Thurstone-Mosteller-Modell nimmt eine Normalverteilung der latenten Nutzen anstelle einer logistischen an. Dynamische Versionen erlauben es, dass Stärken über die Zeit variieren, wie im Elo-Rating-System, das im Schach und anderen Spielen verwendet wird.
In der Sportanalytik kann das Modell einen Heimvorteil berücksichtigen, indem eine Konstante zur Log-Stärke der Heimmannschaft hinzugefügt wird. Bei Mehrklassenvergleichen verallgemeinert das Plackett-Luce-Modell das Bradley–Terry-Modell auf Rankings von mehr als zwei Elementen.
Rechenaspekte
Die Schätzung des Bradley–Terry-Modells aus großen Datensätzen kann rechenintensiv sein. Die Log-Likelihood ist jedoch konkav, sodass globale Maximum-Likelihood-Schätzungen garantiert sind. Effiziente Algorithmen umfassen den Minorization-Maximization-Algorithmus (MM) und stochastischen Gradientenabstieg, die besonders nützlich sind, wenn die Anzahl der Elemente groß ist, wie etwa in maschinellen Lernanwendungen mit Millionen von Benutzern oder Elementen.
Moderne Implementierungen verwenden oft automatische Differentiation und Adam-Optimierung, die in Deep-Learning-Frameworks Standard sind. Das Modell kann auch in neuronale Netzwerkarchitekturen eingebettet werden, wobei die Stärken als Embeddings gelernt werden.
Siehe auch
Referenzen
- Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324-345.
- Davidson, R. R. (1970). On extending the Bradley-Terry model to accommodate ties in paired comparison experiments. Journal of the American Statistical Association, 65(329), 317-328.
- Plackett, R. L. (1975). The analysis of permutations. Applied Statistics, 24(2), 193-202.