El cómputo en tiempo de prueba se refiere a la cantidad de cálculo que un modelo realiza mientras produce una respuesta, a diferencia del cálculo invertido durante el entrenamiento. Durante la mayor parte de la era del aprendizaje profundo, las ganancias de capacidad provinieron casi por completo de escalar el entrenamiento: más parámetros, más datos, más cómputo de entrenamiento, como se describe en leyes de escalado. El cómputo en tiempo de prueba trata la inferencia en sí misma como una segunda palanca. Se puede hacer que un modelo piense más tiempo, explore más respuestas candidatas o revise su propio trabajo antes de devolver una respuesta, y cada una de esas acciones cuesta cómputo adicional en el momento de uso, no en el momento del entrenamiento.
El enfoque entró en el uso generalizado con OpenAI o1, lanzado por OpenAI en septiembre de 2024. A diferencia de los chatbots anteriores, ajustados para responder rápidamente en una sola pasada, o1 fue entrenado para generar una cadena extendida y en gran parte oculta de razonamiento interno antes de producir una respuesta final, y su precisión en puntos de referencia de matemáticas, codificación y lógica mejoró de manera medible a medida que se permitían más tokens de razonamiento. Esto estableció el modelo de razonamiento como una categoría distinta de modelo de lenguaje grande, y competidores como DeepSeek-R1 y las variantes "Thinking" de Gemini de Google siguieron en aproximadamente un año.
Mecanismos
El cómputo en tiempo de prueba se puede gastar de varias maneras. La más simple es la generación más larga de cadena de pensamiento: el modelo escribe pasos de razonamiento intermedios como tokens de texto antes de comprometerse con una respuesta, y permitir más tokens generalmente mejora el rendimiento en tareas con una respuesta correcta clara, como aritmética o corrección de código. Una segunda familia de técnicas muestrea múltiples respuestas independientes y selecciona la mejor, ya sea por voto mayoritario (autoconsistencia) o puntuando candidatos con un verificador o modelo de recompensa separado, a veces organizado como una búsqueda en árbol sobre soluciones parciales. Un tercer enfoque revisa: el modelo produce un borrador, lo critica y lo regenera, gastando pasadas adicionales para detectar errores en lugar de comprometerse con la primera salida.
Estos métodos difieren de las técnicas de aprendizaje en contexto y de indicaciones que vinieron antes principalmente en quién controla el cómputo adicional. Las técnicas de indicaciones como los ejemplos de aprendizaje con pocos ejemplos piden a un modelo que use sus pesos existentes de manera más efectiva; los métodos de cómputo en tiempo de prueba, especialmente en modelos entrenados con aprendizaje por refuerzo sobre recompensas verificables, permiten que el propio modelo decida cuánta deliberación interna necesita un problema dado, gastando en principio poco cómputo en preguntas fáciles y mucho más en las difíciles.
Economía y compensaciones
Debido a que los modelos de razonamiento pueden consumir muchas más veces tokens por respuesta que un modelo de chat estándar, el cómputo en tiempo de prueba reintroduce una compensación de costo y latencia que el escalado del preentrenamiento había empujado mayormente a un lado: los laboratorios y usuarios ahora pueden comprar precisión directamente, en el momento de la inferencia, pagando por más pensamiento. Esto tiene consecuencias prácticas para el diseño de productos, ya que un agente de codificación o asistente de investigación construido sobre un modelo de razonamiento puede tardar decenas de segundos o minutos en responder una consulta difícil, y los precios de API para estos modelos típicamente reflejan tanto la longitud de salida como una prima por token.
Recepción y preguntas abiertas
Los investigadores han debatido cómo el cómputo en tiempo de prueba se relaciona con el razonamiento genuino frente a una forma más costosa de coincidencia de patrones, y los resultados en puntos de referencia como ARC-AGI se han utilizado en ambos lados de ese argumento: los modelos de razonamiento mejoraron las puntuaciones sustancialmente sobre generaciones anteriores, pero el rendimiento aún se degrada en problemas que requieren patrones de razonamiento no bien representados en los datos de entrenamiento. Algunos laboratorios describen el escalado del cómputo en tiempo de prueba como un nuevo eje comparable en importancia a las leyes de escalado originales, con la expectativa de que ganancias adicionales provendrán de una búsqueda y verificación más eficientes, no de cadenas de pensamiento puramente más largas. Otros señalan que las ganancias del cómputo de inferencia adicional muestran rendimientos decrecientes pasado un punto, y que la técnica se entiende mejor como un complemento, no un reemplazo, del escalado del preentrenamiento y el ajuste fino. Para 2025, el cómputo en tiempo de prueba también se había vuelto central en las afirmaciones competitivas sobre los plazos de la inteligencia artificial general, ya que las ganancias de precisión específicas de problemas al "pensar más tiempo" dieron a los laboratorios un nuevo dial de capacidad fácil de comercializar, distinto de los recuentos de parámetros principales.