Les modèles graphiques probabilistes (PGM), également connus sous le nom de modèles graphiques ou modèles probabilistes structurés, sont des modèles probabilistes dans lesquels un graphe exprime la structure de dépendance conditionnelle entre des variables aléatoires. Ils sont largement utilisés en théorie des probabilités, en statistique - en particulier en statistique bayésienne - et en apprentissage automatique. En encodant les dépendances comme des arêtes et les indépendances comme des séparations de graphe, les PGM fournissent une représentation compacte de distributions conjointes complexes, rendant l'inférence et l'apprentissage traitables dans de nombreuses applications.
L'idée centrale est de représenter une distribution sur un espace multidimensionnel à l'aide d'un graphe, où les nœuds correspondent à des variables aléatoires et les arêtes indiquent des dépendances probabilistes. Cette factorisation basée sur un graphe capture un ensemble d'indépendances conditionnelles qui tiennent dans la distribution, permettant un calcul efficace des probabilités marginales et conditionnelles. Deux branches principales de représentations graphiques existent : les réseaux bayésiens (dirigés) et les champs aléatoires de Markov (non dirigés). Les deux partagent les propriétés de factorisation et d'indépendances, mais diffèrent dans les types d'indépendances qu'ils peuvent encoder et dans la factorisation résultante de la distribution.
Types de modèles graphiques probabilistes
Réseaux bayésiens
Un réseau bayésien, également appelé modèle graphique dirigé ou réseau de croyance, utilise un graphe acyclique dirigé (DAG) pour représenter la distribution de probabilité conjointe. Dans un tel modèle, la probabilité conjointe des variables aléatoires \(X_1, \ldots, X_n\) se factorise comme un produit de distributions conditionnelles :
\[ P[X_1, \ldots, X_n] = \prod_{i=1}^n P[X_i \mid \text{pa}(X_i)] \]
où \(\text{pa}(X_i)\) désigne l'ensemble des parents du nœud \(X_i\) (les nœuds avec des arêtes dirigées vers \(X_i\)). Cette factorisation implique que tout nœud est conditionnellement indépendant de ses non-descendants étant donné ses parents. Le concept de d-séparation fournit un critère graphique pour déterminer les indépendances conditionnelles entre des ensembles de variables. Dans les réseaux bayésiens, les indépendances locales (basées sur les relations parent-enfant) sont équivalentes aux indépendances globales (basées sur la d-séparation).
Des modèles classiques d'apprentissage automatique tels que les modèles de Markov cachés, les réseaux de neurones et les modèles de Markov d'ordre variable peuvent être considérés comme des cas particuliers de réseaux bayésiens. L'un des réseaux bayésiens les plus simples est le classifieur Naive Bayes, qui suppose l'indépendance conditionnelle des caractéristiques étant donné l'étiquette de classe.
Modèles graphiques non dirigés
Les modèles graphiques non dirigés, également connus sous le nom de champs aléatoires de Markov (MRF), représentent les dépendances à l'aide d'arêtes non dirigées. Dans un graphe non dirigé, la présence d'une arête implique une dépendance entre les variables aléatoires correspondantes, mais l'absence d'une arête implique une indépendance conditionnelle étant donné toutes les autres variables. Par exemple, dans un graphe où les nœuds B, C et D sont tous connectés uniquement au nœud A, les variables B, C et D sont conditionnellement indépendantes étant donné A. La distribution de probabilité conjointe peut alors être factorisée comme un produit de fonctions non négatives sur les cliques (sous-ensembles entièrement connectés) du graphe. Par exemple, si le graphe a des arêtes AB, AC et AD, la distribution conjointe peut être écrite comme :
\[ P[A,B,C,D] = f_{AB}[A,B] \cdot f_{AC}[A,C] \cdot f_{AD}[A,D] \]
pour certaines fonctions non négatives \(f_{AB}, f_{AC}, f_{AD}\). Cette factorisation reflète la structure locale des dépendances.
Modèles graphiques dirigés cycliques
Bien que les réseaux bayésiens nécessitent généralement des graphes acycliques, certains modèles permettent des cycles. Dans un modèle graphique dirigé cyclique, chaque variable peut dépendre de ses parents d'une manière qui peut conduire à des boucles de rétroaction. Par exemple, un graphe avec un cycle pourrait suggérer une densité conjointe qui se factorise comme :
\[ P[A,B,C,D] = P[A] \cdot P[B] \cdot P[C,D \mid A,B] \]
mais d'autres interprétations sont possibles. Les modèles cycliques sont moins courants en raison des complexités d'inférence et d'interprétation.
Autres types
Plusieurs autres types de modèles graphiques probabilistes étendent les cadres de base :
- Réseaux de dépendance : Ceux-ci permettent des cycles et représentent des distributions conditionnelles pour chaque variable étant donné toutes les autres.
- Classifieurs augmentés par arbres (TAN) : Ce sont des réseaux bayésiens qui augmentent une structure naive Bayes avec des arêtes entre les caractéristiques pour capturer les dépendances.
- Apprentissage de réseaux bayésiens ciblés (TBNL) : Cela se concentre sur l'apprentissage d'un réseau optimisé pour une variable cible spécifique.
- Graphes de facteurs : Ce sont des graphes bipartites non dirigés connectant des variables et des facteurs, où chaque facteur représente une fonction sur les variables qu'il connecte. Les graphes de facteurs sont utiles pour implémenter la propagation de croyances.
- Arbres de cliques ou arbres de jonction : Ce sont des arbres de cliques utilisés dans l'algorithme de l'arbre de jonction pour l'inférence exacte.
- Graphes en chaîne : Ces graphes peuvent avoir à la fois des arêtes dirigées et non dirigées mais sans cycles dirigés, permettant un mélange de types de dépendances.
Applications et importance
Les modèles graphiques probabilistes sont fondamentaux dans apprentissage automatique, où ils fournissent un cadre princier pour le raisonnement sous incertitude. Ils sont utilisés dans intelligence artificielle pour des tâches telles que IA générative, où des modèles comme grands modèles de langage et transformeurs, bien que souvent basés sur réseaux de neurones, peuvent être interprétés à travers des lentilles probabilistes. Les PGM sont également appliqués dans des domaines comme la vision par ordinateur, le traitement du langage naturel, la bioinformatique et la robotique. Leur capacité à combiner des connaissances de domaine avec un apprentissage basé sur les données en fait des outils puissants pour l'inférence et la prise de décision.
Concepts connexes
Les modèles graphiques probabilistes sont étroitement liés à apprentissage profond et réseaux de neurones, car de nombreuses architectures profondes peuvent être vues comme des cas particuliers de modèles graphiques. Par exemple, les modèles de Markov cachés sont un exemple classique. Des chercheurs comme Michael Jordan et Daphne Koller ont considérablement avancé la théorie et l'application des PGM. Les développements modernes dans IA générative et grands modèles de langage s'appuient souvent sur des principes probabilistes, même s'ils ne sont pas explicitement formulés comme des modèles graphiques.