OpenAI o1 es un modelo de razonamiento desarrollado por OpenAI y lanzado en versión preliminar en septiembre de 2024, con un lanzamiento completo en diciembre de 2024. Representó una desviación de la línea anterior de GPT-4 al introducir un enfoque de entrenamiento e inferencia explícitamente optimizado para tareas de razonamiento de múltiples pasos, como matemáticas de competición, programación y resolución de problemas científicos, en lugar de buscar únicamente una mayor escala de propósito general.
Cadena de pensamiento extendida
La innovación técnica central de o1, según lo descrito por OpenAI, fue entrenar al modelo para generar una cadena de pensamiento interna extendida antes de producir una respuesta final, utilizando aprendizaje por refuerzo para mejorar la calidad de ese proceso de razonamiento intermedio. A diferencia de técnicas de prompting anteriores que inducían el razonamiento de cadena de pensamiento mediante instrucciones proporcionadas por el usuario, o1 fue entrenado para realizar este razonamiento automáticamente y para asignar más cómputo a problemas más difíciles, un enfoque que se conoció como escalado de cómputo en tiempo de prueba: en lugar de solo aumentar el tamaño del modelo o de los datos de entrenamiento, la capacidad podía mejorarse permitiendo que el modelo "pensara" más tiempo durante la inferencia. OpenAI ocultó deliberadamente los rastros de razonamiento interno crudos del modelo a los usuarios, mostrando solo una versión resumida, citando tanto preocupaciones competitivas sobre que la técnica fuera copiada como preocupaciones de seguridad sobre que la cadena de pensamiento cruda contuviera contenido no filtrado o manipulador.
Rendimiento y puntos de referencia
OpenAI reportó ganancias sustanciales para o1 en comparación con modelos de la clase GPT-4 en evaluaciones centradas en razonamiento, incluyendo grandes mejoras en problemas de matemáticas de competición y en el punto de referencia de ingeniería de software SWE-bench, así como un sólido rendimiento en preguntas científicas de nivel doctoral. Las ganancias del modelo fueron más pronunciadas en tareas que requieren lógica de múltiples pasos extensa y verificable, mientras que las mejoras en tareas más abiertas o de recuperación de conocimiento fueron comparativamente modestas, un patrón que reforzó la creciente distinción en el campo entre capacidad de conocimiento bruto y capacidad de razonamiento.
Impacto en la industria
El lanzamiento de o1 provocó respuestas rápidas en toda la industria, con laboratorios competidores, incluido DeepSeek, lanzando sus propios modelos centrados en razonamiento, más notablemente DeepSeek-R1 en enero de 2025, que logró un rendimiento comparable en puntos de referencia de razonamiento con un costo de entrenamiento reportado drásticamente menor y, a diferencia de o1, publicó sus rastros completos de razonamiento de cadena de pensamiento y pesos abiertos. Este contraste intensificó el debate sobre el valor de la decisión de OpenAI de ocultar sus rastros de razonamiento y contribuyó a una discusión más amplia sobre la competencia de pesos abiertos en la IA de frontera. o1 estableció el escalado de cómputo en tiempo de prueba como un paradigma distinto y duradero junto con el escalado de preentrenamiento, con OpenAI y competidores lanzando posteriormente iteraciones adicionales de modelos de razonamiento construidos sobre el mismo enfoque subyacente.