Arbre de pensées (ToT) est un cadre de prompting et de raisonnement conçu pour améliorer les capacités de résolution de problèmes des grands modèles de langage (LLM). Il étend le concept de prompting par chaîne de pensée en permettant à un modèle d'explorer simultanément plusieurs chemins de raisonnement distincts. Au lieu de générer une séquence unique et linéaire de pensées, ToT maintient un arbre de pensées intermédiaires, évalue systématiquement ces branches et utilise des algorithmes de recherche pour naviguer vers une solution cohérente. Cette approche est particulièrement efficace pour les tâches complexes nécessitant planification, exploration et anticipation stratégique, où un seul fil de pensée peut prématurément se verrouiller sur une stratégie sous-optimale.
Principes fondamentaux
Le cadre repose sur le principe que pour de nombreux problèmes difficiles, le raisonnement n'est pas un chemin simple mais un paysage complexe d'étapes possibles. ToT structure cela comme un problème de recherche sur un arbre, où chaque nœud représente une pensée intermédiaire ou une solution partielle. Les composants clés impliquent la génération de pensées candidates à partir d'un état donné, l'évaluation de leur promesse et la recherche dans l'espace de ces idées incomplètes. Contrairement à l'échantillonnage de plusieurs complétions indépendantes puis à leur agrégation, ToT entrelace cette génération avec une évaluation et une recherche explicites, informant l'étape suivante avec une évaluation de ce qui a été produit jusqu'à présent.
La méthodologie est influencée en partie par les techniques classiques de résolution de problèmes et de planification. Elle reformule le processus de génération pour un LLM comme un problème de recherche semblable à la résolution d'un puzzle, utilisant des heuristiques pour guider l'exploration, un descendant conceptuel direct d'idées comme la recherche en profondeur ou la recherche en meilleur d'abord popularisées dans les époques antérieures de l'intelligence artificielle.
Méthode et composants
Un processus ToT typique implique plusieurs étapes concrètes. La première est la définition d'un état, qui est une solution partielle, ou un contexte ample composé des étapes de pensée précédentes. Le système doit ensuite définir un générateur de pensées, qui utilise le modèle pour créer une ou plusieurs étapes suivantes candidates. Pour de nombreuses tâches, une proposition unique (par exemple, générer la ligne suivante d'un poème) est suffisante, tandis que pour d'autres, un prompt « propose » génère plusieurs étapes suivantes potentielles distinctes.
Ensuite vient l'évaluateur d'états. Chaque pensée candidate générée est notée. L'évaluation peut être la même heuristique (par exemple, un sous-type de règle) ou par échantillonnage : le LLM lui-même évalue indépendamment la probabilité que cette étape mène au succès. Cette évaluation produit une valeur qualitative.
La dernière étape est l'algorithme de recherche. Les algorithmes les plus courants sont la recherche en largeur (BFS), où les états les plus prometteurs b sont conservés à chaque niveau, et la recherche en profondeur (DFS), qui explore une branche jusqu'à sa conclusion avant de revenir en arrière. Cette recherche explicite et ces capacités d'anticipation permettent au modèle de se remettre d'une impasse, une compétence cruciale pour des tâches comme l'écriture créative où plusieurs options ouvertes existent.
L'implémentation utilise une architecture de transformeur standard. Elle capitalise sur les mécanismes d'attention qui permettent au LLM d'analyser et de comparer ses propres alternatives générées dans la fenêtre de contexte.
Applications et performance
Le cadre a montré des améliorations spectaculaires sur des tâches impliquant l'exploration, comme le jeu du 24, et sur des tâches jugées par des évaluateurs humains comme l'écriture créative d'histoires. En mathématiques et dans les puzzles logiques, ToT a montré qu'il augmente significativement le taux de résolution des modèles grands modèles de langage typiques par rapport au prompting direct. La combinaison de la recherche et de l'exploration limitée se compare à d'autres méthodes d'inférence (comme le vote majoritaire) qui font généralement la moyenne sur les échantillons. La recherche structurée en arbre combine avec succès la largeur de l'échantillonnage parallèle avec la profondeur de la chaîne de pensée.
Lien avec la recherche en IA
L'arbre de pensées fait partie d'une tendance de recherche plus large visant à construire des agents autonomes plus délibérés et capables de planification. Plutôt qu'une simple génération token par token, il cadre le raisonnement comme une planification. Ces boucles de contrôle et de recherche de plus haut niveau font généralement partie de la méthodologie du apprentissage automatique, bien qu'il exploite les réseaux de apprentissage profond. Les chercheurs s'attendent à ce que les améliorations des modèles fondamentaux s'imbriquent avec ce contrôle structuré, et ont étendu l'idée à des boucles agentiques plus larges, où un modèle peut utiliser des outils externes ou la mémoire.
La recherche s'appuie fortement sur les premières avancées dans les techniques de prompting des LLM, qui ont d'abord montré qu'avec la bonne approche, on peut susciter une capacité de raisonnement sans formation explicite. En tant que tel, sa lignée provient de travaux chez Google DeepMind et OpenAI dans l'étude du prompting et du raisonnement émergent.
Évaluation et limites
Bien que ToT démontre des capacités, cela a un coût en termes d'utilisation de tokens et de latence. Le système pour décider des pensées et des états est spécifique à la tâche et n'est pas inféré automatiquement, nécessitant une ingénierie minutieuse des étapes superficielles et un plan. Les améliorations sont moins constantes sur les tâches simples, où la complexité n'est pas nécessaire. Le degré de son efficacité fait l'objet d'une évaluation continue mais confirme l'importance d'ajouter une composante computationnelle de recherche à la sortie.
Les évaluations d'états internes sont spécifiques à la tâche mais peuvent être converties en notation probabiliste propre au modèle dans une ressource et une amélioration. Un modèle l'utilisant peut générer un module.