Le modèle de Bradley–Terry est un modèle probabiliste pour les comparaisons par paires, introduit par Ralph A. Bradley et Milton E. Terry en 1952. Il estime la probabilité qu'un élément en batte un autre en se basant sur des scores de compétence latents, en supposant que les cotes de victoire sont proportionnelles au rapport des forces des éléments. Le modèle est largement appliqué dans les classements sportifs, l'apprentissage automatique et l'apprentissage des préférences, y compris l'entraînement des grands modèles de langage modernes grâce à des techniques comme RLHF et RLAIF.
Le modèle définit la probabilité que l'élément \(i\) batte l'élément \(j\) comme \(P(i > j) = \frac{p_i}{p_i + p_j}\), où \(p_i\) et \(p_j\) sont des paramètres de force positifs. En pratique, les paramètres sont souvent transformés à l'aide d'un lien logit, ce qui conduit à une formulation de régression logistique. Le modèle peut être estimé à partir d'observations de résultats par paires en utilisant l'estimation du maximum de vraisemblance, généralement via des algorithmes itératifs tels que l'algorithme EM de Bradley-Terry ou des méthodes basées sur le gradient.
Histoire et origines
Le modèle de Bradley–Terry a été introduit en 1952 par Ralph A. Bradley et Milton E. Terry dans un article intitulé « Rank Analysis of Incomplete Block Designs » (Biometrika). Le modèle a été initialement développé pour analyser les comparaisons par paires dans les plans expérimentaux, tels que les tests de dégustation et les études de préférences des consommateurs. Il a étendu les travaux antérieurs sur la méthode des comparaisons par paires de Thurstone (1927) et d'autres, fournissant un cadre plus flexible et statistiquement rigoureux.
Au fil des décennies, le modèle a été généralisé de diverses manières, notamment l'ajout d'égalités, d'avantages du terrain et de forces dynamiques variant dans le temps. Il est devenu un outil standard dans l'analyse sportive, où il est utilisé pour classer les équipes en fonction des résultats des matchs, et en psychométrie pour mesurer les préférences subjectives.
Formulation mathématique
Le cœur du modèle de Bradley–Terry est la probabilité d'un résultat binaire dans une comparaison. Pour deux éléments \(i\) et \(j\) avec des forces \(p_i\) et \(p_j\), la probabilité que \(i\) gagne est donnée par :
\[ P(i \text{ bat } j) = \frac{p_i}{p_i + p_j} \]
De manière équivalente, en utilisant les log-forces \(\lambda_i = \log p_i\), le log-odds que \(i\) batte \(j\) est \(\lambda_i - \lambda_j\). Cette formulation fait du modèle un cas particulier de régression logistique, où le prédicteur est la différence des scores latents.
Étant donné un ensemble de comparaisons observées, la fonction de vraisemblance est le produit des probabilités des résultats observés. L'estimation du maximum de vraisemblance peut être effectuée à l'aide de l'ajustement proportionnel itératif ou des méthodes de Newton-Raphson. Le modèle est identifiable à une constante additive près, donc une contrainte telle que fixer la somme des forces à 1 ou fixer la force d'un élément est nécessaire.
Applications en apprentissage automatique
Dans l'apprentissage automatique moderne, le modèle de Bradley–Terry joue un rôle crucial dans l'apprentissage des préférences et l'apprentissage par renforcement à partir de retours humains. Par exemple, lors de l'entraînement des grands modèles de langage, les annotateurs humains comparent les réponses de différents modèles, et le modèle de Bradley–Terry est utilisé pour convertir ces préférences par paires en un modèle de récompense. Ce modèle de récompense guide ensuite l'optimisation du modèle de langage via des techniques comme RLHF (apprentissage par renforcement à partir de retours humains) ou RLAIF (apprentissage par renforcement à partir de retours d'IA).
Le modèle est également utilisé dans les systèmes de recommandation, où les préférences des utilisateurs sont déduites de choix par paires, et dans la recherche d'informations pour l'apprentissage à classer. Sa simplicité et son interprétabilité en font un choix populaire pour modéliser les jugements comparatifs.
Extensions et variantes
Plusieurs extensions du modèle de Bradley–Terry abordent ses limites. L'extension de Davidson gère les égalités en ajoutant un paramètre pour la probabilité d'un match nul. Le modèle de Thurstone-Mosteller suppose une distribution normale des utilités latentes au lieu d'une distribution logistique. Les versions dynamiques permettent aux forces de varier dans le temps, comme dans le système de classement Elo utilisé aux échecs et dans d'autres jeux.
Dans l'analyse sportive, le modèle peut intégrer l'avantage du terrain en ajoutant une constante à la log-force de l'équipe à domicile. Dans les comparaisons multi-classes, le modèle de Plackett-Luce généralise le modèle de Bradley–Terry aux classements de plus de deux éléments.
Aspects computationnels
L'estimation du modèle de Bradley–Terry à partir de grands ensembles de données peut être coûteuse en calcul. Cependant, la log-vraisemblance est concave, donc les estimations du maximum de vraisemblance globales sont garanties. Les algorithmes efficaces incluent l'algorithme de minorisation-maximisation (MM) et la descente de gradient stochastique, qui sont particulièrement utiles lorsque le nombre d'éléments est important, comme dans les applications de apprentissage automatique avec des millions d'utilisateurs ou d'éléments.
Les implémentations modernes utilisent souvent la différenciation automatique et l'optimisation Adam, qui sont standard dans les frameworks d'apprentissage profond. Le modèle peut également être intégré dans des architectures de réseaux de neurones, où les forces sont apprises comme des plongements.
Voir aussi
Références
- Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324-345.
- Davidson, R. R. (1970). On extending the Bradley-Terry model to accommodate ties in paired comparison experiments. Journal of the American Statistical Association, 65(329), 317-328.
- Plackett, R. L. (1975). The analysis of permutations. Applied Statistics, 24(2), 193-202.