Un modelo de razonamiento es un modelo de lenguaje grande entrenado, típicamente con aprendizaje por refuerzo, para generar una secuencia interna extendida de pasos de razonamiento antes de producir una respuesta final, en lugar de responder inmediatamente como lo hacían los modelos de generaciones anteriores. La categoría se distingue del encadenamiento de pensamiento ordinario, que pide a un modelo entrenado convencionalmente razonar paso a paso mediante instrucciones en el prompt, porque un modelo de razonamiento está entrenado específicamente para producir y mejorar su propio proceso de razonamiento,y a menudo genera mucho más texto intermedio que un modelo con instrucciones lo haría
Orígenes
OpenAI introdujo el primer modelo de razonamiento ampliamente conocido, OpenAI o1,en septiembre de 2024, describiéndolo como entrenado para "pensar" antes de responder usando aprendizaje por refuerzo en problemas con respuestas verificables, como matemáticas y programación, donde una respuesta final correcta puede comprobarse automáticamente. OpenAI mantuvo la cadena interna de razonamiento de o1 en gran medida oculta para los usuarios, mostrando solo una versión resumida, una decisión que la empresa dijo estaba destinada a preservar la capacidad del modelo para razonar libremente, incluyendo explorar caminos incorrectos, sin que ese razonamiento sin pulir se tomara como una respuesta final, respaldada. El enfoque produjo ganancias sustanciales de precisión en benchmarks que requieren razonamiento multi-paso, incluyendo matemáticas de competición y tareas de codificación como SWE-bench.
DeepSeek-R1 y modelos de razonamiento abiertos
En enero de 2025, el laboratorio chino DeepSeek lanzó DeepSeek-R1, un modelo de razonamiento de pesos abiertos entrenado con aprendizaje por refuerzo a gran escala que igualó o se acercó al rendimiento de los modelos de razonamiento de OpenAI en varios benchmarks a una fracción del costo de entrenamiento reportado,y a diferencia de o1, expuso su cadena completa de razonamiento a los usuarios. El lanzamiento desencadenó lo que se conoció como el shock de mercado de DeepSeek, provocando una gran venta masiva en acciones de infraestructura de IA y una reevaluación más amplia de los supuestos sobre la computación requerida para entrenar un modelo de razonamiento de nivel fronterizo. DeepSeek también lanzó versiones destiladas más pequeñas de R1, haciendo disponible el comportamiento de estilo de razonamiento en modelos lo suficientemente baratos como para ejecutarse en hardware modesto
Computación en tiempo de prueba
La compensación definitoria de los modelos de razonamiento es que pueden convertir computación adicional en tiempo de prueba, es decir, más cálculo gastado en el momento de responder en lugar de durante el entrenamiento,en mayor precisión en problemas difíciles. Esto difiere de la relación de escalado tradicional descrita por las leyes de escalado, que se centraban en el tamaño del modelo, los datos de entrenamiento,y la computación de entrenamiento; los modelos de razonamiento añadieron un eje adicional a lo largo del cual la capacidad podía mejorarse sin entrenar un modelo nuevo, más grande en absoluto. Investigadores incluyendo a Noam Brown, que trabajó en sistemas de razonamiento y juegos estratégicos antes de unirse al esfuerzo de modelos de razonamiento de OpenAI,han enmarcado esto como análogo a la forma en que un experto humano con más tiempo para pensar produce mejores respuestas que uno forzado a responder instantáneamente
Evaluación y límites
Los modelos de razonamiento rinden especialmente bien en tareas con respuestas objetivamente comprobables, lo que ha impulsado su evaluación hacia benchmarks como ARC-AGI y matemáticas de competición en lugar de tareas más subjetivas de escritura o conversación, donde el beneficio del razonamiento extendido es menos consistente y el tiempo de inferencia adicional y el costo son más difíciles de justificar. Los modelos de razonamiento también siguen sujetos al mismo riesgo de alucinación que otros modelos de lenguaje, ya que un razonamiento más largo no garantiza una respuesta final factualmente correcta,y ocasionalmente pueden producir trazas de razonamiento que suenan rigurosas mientras incrustan un paso incorrecto.