ブラッドリー・テリー・モデルは、1952年にラルフ・A・ブラッドリーとミルトン・E・テリーによって導入された、ペアワイズ比較のための確率モデルである。これは、潜在的なスキルスコアに基づいて、ある項目が別の項目に勝つ確率を推定し、勝つオッズが項目の強さの比率に比例すると仮定する。このモデルは、スポーツランキング、機械学習、選好学習に広く応用されており、大規模言語モデルの訓練におけるRLHFやRLAIFなどの技術を通じた現代的な応用も含まれる。
このモデルは、項目\(i\)が項目\(j\)に勝つ確率を\(P(i > j) = \frac{p_i}{p_i + p_j}\)と定義する。ここで、\(p_i\)と\(p_j\)は正の強度パラメータである。実際には、パラメータはロジットリンクを用いて変換されることが多く、ロジスティック回帰の定式化につながる。このモデルは、観測されたペアワイズ結果から最尤推定を用いて推定でき、通常はブラッドリー・テリーEMアルゴリズムや勾配ベースの手法などの反復アルゴリズムを用いる。
歴史と起源
ブラッドリー・テリー・モデルは、1952年にラルフ・A・ブラッドリーとミルトン・E・テリーによって、「不完全ブロック計画の順位分析」(Biometrika)という論文で導入された。このモデルは、もともと実験計画におけるペア比較、例えば味覚テストや消費者選好研究を分析するために開発された。これは、サーストン(1927年)らによるペア比較法の初期の研究を拡張し、より柔軟で統計的に厳密な枠組みを提供した。
数十年にわたり、このモデルは、引き分け、ホームアドバンテージ、動的な時間変動強度の追加など、さまざまな方法で一般化されてきた。これは、試合結果に基づいてチームをランク付けするスポーツ分析や、主観的な選好を測定する心理測定学における標準的なツールとなっている。
数学的定式化
ブラッドリー・テリー・モデルの核心は、比較における二値結果の確率である。強度\(p_i\)と\(p_j\)を持つ2つの項目\(i\)と\(j\)について、\(i\)が勝つ確率は次のように与えられる:
\[ P(i \text{ が } j \text{ に勝つ}) = \frac{p_i}{p_i + p_j} \]
同等に、対数強度\(\lambda_i = \log p_i\)を用いると、\(i\)が\(j\)に勝つ対数オッズは\(\lambda_i - \lambda_j\)となる。この定式化により、このモデルはロジスティック回帰の特殊なケースとなり、予測変数は潜在スコアの差となる。
観測された比較のセットが与えられると、尤度関数は観測された結果の確率の積となる。最尤推定は、反復比例フィッティングやニュートン・ラフソン法を用いて実行できる。このモデルは加法定数まで識別可能であるため、強度の合計を1に設定するか、1つの項目の強度を固定するなどの制約が必要である。
機械学習への応用
現代の機械学習では、ブラッドリー・テリー・モデルは選好学習や人間のフィードバックからの強化学習において重要な役割を果たしている。例えば、大規模言語モデルの訓練では、人間のアノテーターが異なるモデルからの応答を比較し、ブラッドリー・テリー・モデルを用いてこれらのペアワイズ選好を報酬モデルに変換する。この報酬モデルは、RLHF(人間のフィードバックからの強化学習)やRLAIF(AIフィードバックからの強化学習)などの技術を通じて、言語モデルの最適化を導く。
このモデルはまた、ペアワイズ選択からユーザー選好を推測するレコメンデーションシステムや、学習してランク付けする情報検索にも使用される。その単純さと解釈可能性から、比較判断をモデル化するための一般的な選択肢となっている。
拡張と変種
ブラッドリー・テリー・モデルのいくつかの拡張は、その限界に対処している。デビッドソン拡張は、引き分けの確率のパラメータを追加することで、引き分けを扱う。サーストン・モステラー・モデルは、ロジスティック分布の代わりに潜在効用の正規分布を仮定する。動的バージョンでは、チェスや他のゲームで使用されるエロレーティングシステムのように、強度が時間とともに変化することを可能にする。
スポーツ分析では、ホームチームの対数強度に定数を追加することで、ホームアドバンテージを組み込むことができる。多クラス比較では、プラケット・ルース・モデルがブラッドリー・テリー・モデルを2つ以上の項目のランキングに一般化する。
計算の側面
大規模なデータセットからブラッドリー・テリー・モデルを推定することは、計算集約的であり得る。しかし、対数尤度は凹関数であるため、大域的な最尤推定値が保証される。効率的なアルゴリズムには、マイナー化・最大化(MM)アルゴリズムや確率的勾配降下法があり、これは特に、機械学習アプリケーションで数百万のユーザーや項目がある場合など、項目数が多い場合に有用である。
現代の実装では、深層学習フレームワークで標準的な自動微分やAdam最適化がよく使用される。このモデルはまた、強度が埋め込みとして学習されるニューラルネットワークアーキテクチャに埋め込むこともできる。
関連項目
参考文献
- Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs. Biometrika, 39(3/4), 324-345.
- Davidson, R. R. (1970). On extending the Bradley-Terry model to accommodate ties in paired comparison experiments. Journal of the American Statistical Association, 65(329), 317-328.
- Plackett, R. L. (1975). The analysis of permutations. Applied Statistics, 24(2), 193-202.