Árbol de Pensamientos (ToT, por sus siglas en inglés) es un marco de indicaciones y razonamiento diseñado para mejorar las capacidades de resolución de problemas de los modelos de lenguaje de gran tamaño (LLM). Extiende el concepto de indicación de cadena de pensamiento al permitir que un modelo explore múltiples rutas de razonamiento distintas simultáneamente. En lugar de generar una única secuencia lineal de pensamientos, ToT mantiene un árbol de pensamientos intermedios, evalúa sistemáticamente estas ramas y utiliza algoritmos de búsqueda para navegar hacia una solución coherente. Este enfoque es particularmente eficaz para tareas complejas que requieren planificación, exploración y previsión estratégica, donde una única línea de pensamiento puede fijarse prematuramente en una estrategia subóptima.
Principios Fundamentales
El marco opera sobre el principio de que, para muchos problemas desafiantes, el razonamiento no es un camino simple, sino un paisaje complejo de pasos posibles. ToT estructura esto como un problema de búsqueda sobre un árbol, donde cada nodo representa un pensamiento intermedio o una solución parcial. Los componentes clave implican generar pensamientos candidatos a partir de un estado dado, evaluar su promesa y buscar a través del espacio de estas ideas incompletas. A diferencia de muestrear múltiples finalizaciones independientes y luego agregarlas, ToT intercala esta generación con una evaluación y búsqueda explícitas, informando el siguiente paso con una evaluación de lo que se ha producido hasta ahora.
La metodología está influenciada en parte por técnicas clásicas de resolución de problemas y planificación. Reformula el proceso de generación para un LLM como un problema de búsqueda similar a resolver un rompecabezas, utilizando heurísticas para guiar la exploración, un descendiente conceptual directo de ideas como la búsqueda en profundidad o la búsqueda primero en lo mejor, popularizadas en eras anteriores de la inteligencia artificial.
Método y Componentes
Un proceso típico de ToT implica varias etapas concretas. Primero está la definición de un estado, que es una solución parcial o un contexto amplio compuesto por pasos de pensamiento previos. El sistema debe entonces definir un generador de pensamientos, que utiliza el modelo para crear uno o más pasos siguientes candidatos. Para muchas tareas, una propuesta única (por ejemplo, generar la siguiente línea de un poema) es suficiente, mientras que para otras, una indicación de "proponer" genera varios pasos siguientes potenciales distintos.
A continuación está el evaluador de estados. Cada pensamiento candidato generado se puntúa. La evaluación puede ser la misma heurística (por ejemplo, un subtipo de regla) o mediante muestreo: el propio LLM evalúa de manera independiente la probabilidad de que este paso conduzca al éxito. Esta evaluación produce un valor cualitativo.
El paso final es el algoritmo de búsqueda. Los algoritmos más comunes son la búsqueda en anchura (BFS), donde los estados b más prometedores se retienen en cada nivel, y la búsqueda en profundidad (DFS), que explora una rama hasta su conclusión antes de retroceder. Esta búsqueda explícita y las capacidades de previsión permiten que el modelo se recupere de un callejón sin salida, una habilidad crucial para tareas como la escritura creativa donde existen varias opciones abiertas.
La implementación utiliza una arquitectura de transformador estándar. Aprovecha los mecanismos de atención que permiten al LLM analizar y comparar sus propias alternativas generadas en la ventana de contexto.
Aplicaciones y Rendimiento
El marco ha mostrado mejoras de cambio de nivel en tareas que implican exploración, como el juego de los 24 puntos, y en tareas evaluadas por evaluadores humanos como la escritura creativa de historias. En matemáticas y rompecabezas lógicos, se ha demostrado que ToT aumenta significativamente la tasa de resolución de los modelos de lenguaje de gran tamaño típicos en comparación con la indicación directa. La combinación de búsqueda y exploración limitada se compara con otros métodos de inferencia (como el voto mayoritario) que típicamente promedian sobre las muestras. La búsqueda estructurada en árbol combina con éxito la amplitud del muestreo paralelo con la profundidad de la cadena de pensamiento.
Conexión con la Investigación en IA
El Árbol de Pensamientos es parte de una tendencia de investigación más amplia para construir agentes autónomos más deliberados y capaces de planificar. En lugar de solo generación token por token, enmarca el razonamiento como planificación. Estos bucles de control y búsqueda de nivel superior son típicamente parte de la metodología de aprendizaje automático, aunque aprovecha redes de aprendizaje profundo. Los investigadores esperan que las mejoras en los modelos fundamentales se entrelacen con este control estructurado, y han extendido la idea a bucles agénticos más amplios, donde un modelo puede usar herramientas externas o memoria.
La investigación se basa en gran medida en los primeros avances en técnicas de indicación para LLM, que primero mostraron que, con el enfoque correcto, se puede eludir el entrenamiento explícito para provocar capacidades de razonamiento. Como tal, su linaje proviene del trabajo en Google DeepMind y OpenAI en el estudio de la indicación y el razonamiento emergente.
Evaluación y Limitaciones
Aunque ToT demuestra capacidad, lo hace a un costo con más uso de tokens y latencia. El sistema para decidir pensamientos y estados es específico de la tarea y no se infiere automáticamente, requiriendo una ingeniería cuidadosa de pasos superficiales y un plan. Las mejoras son menos consistentes en tareas simples, donde la complejidad no es necesaria. El grado de su eficacia está sujeto a una evaluación continua, pero confirma la importancia de agregar un componente computacional de búsqueda a la salida.
Las evaluaciones de estado interno con la tarea son específicas, pero pueden expresarse en la puntuación probabilística propia del modelo en un recurso y mejora. El modelo que lo usa puede generar un módulo.