O modelo de Bradley–Terry é um modelo probabilístico para comparações pareadas, introduzido por Ralph A. Bradley e Milton E. Terry em 1952. Ele estima a probabilidade de um item vencer outro com base em pontuações de habilidade latentes, assumindo que as chances de vitória são proporcionais à razão entre as forças dos itens. O modelo é amplamente aplicado em rankings esportivos, aprendizado de máquina e aprendizado de preferências, incluindo o treinamento de modelos de linguagem de grande porte modernos por meio de técnicas como RLHF e RLAIF.
O modelo define a probabilidade de o item \(i\) vencer o item \(j\) como \(P(i > j) = \frac{p_i}{p_i + p_j}\), onde \(p_i\) e \(p_j\) são parâmetros de força positivos. Na prática, os parâmetros são frequentemente transformados usando uma ligação logit, resultando em uma formulação de regressão logística. O modelo pode ser estimado a partir de resultados pareados observados usando estimativa de máxima verossimilhança, tipicamente por meio de algoritmos iterativos, como o algoritmo EM de Bradley–Terry ou métodos baseados em gradiente.
História e Origens
O modelo de Bradley–Terry foi introduzido em 1952 por Ralph A. Bradley e Milton E. Terry em um artigo intitulado "Rank Analysis of Incomplete Block Designs" (Biometrika). O modelo foi originalmente desenvolvido para analisar comparações pareadas em delineamentos experimentais, como testes de sabor e estudos de preferência do consumidor. Ele estendeu trabalhos anteriores sobre o método de comparações pareadas de Thurstone (1927) e outros, fornecendo uma estrutura mais flexível e estatisticamente rigorosa.
Ao longo das décadas, o modelo foi generalizado de várias maneiras, incluindo a adição de empates, vantagens de mando de campo e forças dinâmicas que variam ao longo do tempo. Ele se tornou uma ferramenta padrão em análises esportivas, onde é usado para classificar equipes com base em resultados de jogos, e em psicometria para medir preferências subjetivas.
Formulação Matemática
O núcleo do modelo de Bradley–Terry é a probabilidade de um resultado binário em uma comparação. Para dois itens \(i\) e \(j\) com forças \(p_i\) e \(p_j\), a probabilidade de \(i\) vencer é dada por:
\[ P(i \text{ vence } j) = \frac{p_i}{p_i + p_j} \]
Equivalentemente, usando log-forças \(\lambda_i = \log p_i\), o log-odds de \(i\) vencer \(j\) é \(\lambda_i - \lambda_j\). Essa formulação torna o modelo um caso especial de regressão logística, onde o preditor é a diferença nas pontuações latentes.
Dado um conjunto de comparações observadas, a função de verossimilhança é o produto das probabilidades dos resultados observados. A estimativa de máxima verossimilhança pode ser realizada usando ajuste proporcional iterativo ou métodos de Newton-Raphson. O modelo é identificável até uma constante aditiva, portanto, uma restrição, como definir a soma das forças como 1 ou fixar a força de um item, é necessária.
Aplicações em Aprendizado de Máquina
No aprendizado de máquina moderno, o modelo de Bradley–Terry desempenha um papel crucial no aprendizado de preferências e no aprendizado por reforço a partir de feedback humano. Por exemplo, no treinamento de modelos de linguagem de grande porte, anotadores humanos comparam respostas de diferentes modelos, e o modelo de Bradley–Terry é usado para converter essas preferências pareadas em um modelo de recompensa. Esse modelo de recompensa então guia a otimização do modelo de linguagem por meio de técnicas como RLHF (Aprendizado por Reforço a partir de Feedback Humano) ou RLAIF (Aprendizado por Reforço a partir de Feedback de IA).
O modelo também é usado em sistemas de recomendação, onde as preferências do usuário são inferidas a partir de escolhas pareadas, e em recuperação de informações para aprendizado de ranqueamento. Sua simplicidade e interpretabilidade o tornam uma escolha popular para modelar julgamentos comparativos.
Extensões e Variantes
Várias extensões do modelo de Bradley–Terry abordam suas limitações. A extensão de Davidson lida com empates adicionando um parâmetro para a probabilidade de um empate. O modelo de Thurstone-Mosteller assume uma distribuição normal de utilidades latentes em vez de uma logística. Versões dinâmicas permitem que as forças variem ao longo do tempo, como no sistema de classificação Elo usado em xadrez e outros jogos.
Em análises esportivas, o modelo pode incorporar vantagem de mando de campo adicionando uma constante à log-força do time da casa. Em comparações multiclasse, o modelo de Plackett-Luce generaliza o modelo de Bradley–Terry para rankings de mais de dois itens.
Aspectos Computacionais
Estimar o modelo de Bradley–Terry a partir de grandes conjuntos de dados pode ser computacionalmente intensivo. No entanto, a log-verossimilhança é côncava, portanto, estimativas globais de máxima verossimilhança são garantidas. Algoritmos eficientes incluem o algoritmo de minorização-maximização (MM) e a descida de gradiente estocástica, que são particularmente úteis quando o número de itens é grande, como em aplicações de aprendizado de máquina com milhões de usuários ou itens.
Implementações modernas frequentemente usam diferenciação automática e otimização com Adam, que são padrão em estruturas de aprendizado profundo. O modelo também pode ser incorporado em arquiteturas de redes neurais, onde as forças são aprendidas como embeddings.
Ver Também
Referências
- Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324-345.
- Davidson, R. R. (1970). On extending the Bradley-Terry model to accommodate ties in paired comparison experiments. Journal of the American Statistical Association, 65(329), 317-328.
- Plackett, R. L. (1975). The analysis of permutations. Applied Statistics, 24(2), 193-202.