OPT-175B es un modelo de lenguaje de gran escala desarrollado por Meta AI, lanzado en mayo de 2022. Con 175 mil millones de parámetros, fue diseñado para igualar la escala de GPT-3 de OpenAI, siendo accesible abiertamente para los investigadores. El lanzamiento del modelo incluyó sus pesos, código y registros de entrenamiento, una desviación de las prácticas cerradas de muchos laboratorios de IA contemporáneos. Esta transparencia buscaba fomentar la investigación reproducible y una comprensión más profunda de las redes neuronales a gran escala.
OPT-175B se basa en la arquitectura transformador, específicamente un diseño autorregresivo solo-decodificador. Utiliza una estructura similar a la de GPT-3, con 96 capas, 96 cabezas de atención y una dimensión oculta de 12,288. El modelo fue entrenado con un corpus diverso de texto disponible públicamente, que totaliza aproximadamente 180 mil millones de tokens. Este conjunto de datos incluía libros, texto web y otras fuentes, filtrado para eliminar contenido de baja calidad o duplicado. El entrenamiento utilizó 992 GPUs A100 de 80GB, consumiendo aproximadamente 2.5 millones de horas-GPU, un costo significativo pero reducido en comparación con modelos anteriores gracias a técnicas eficientes de paralelismo.
Entrenamiento y Optimización
El proceso de entrenamiento de OPT-175B empleó varias técnicas avanzadas para gestionar su escala. Meta utilizó una combinación de paralelismo de datos, de modelo y de pipeline en el clúster de GPUs. También implementaron recorte de gradientes para estabilizar el entrenamiento y usaron un programa de tasa de aprendizaje con una fase de calentamiento seguida de una disminución coseno. El modelo fue entrenado con el optimizador Adam, utilizando un tamaño de lote de 4 millones de tokens. Para reducir el uso de memoria, se usó entrenamiento de precisión mixta, almacenando los pesos en FP16 y usando FP32 para los estados del optimizador. Los registros de entrenamiento, publicados públicamente, documentaron desafíos como picos de pérdida y las respuestas del equipo, proporcionando una visión poco común de la dinámica del entrenamiento a gran escala.
Impacto del Código Abierto
El lanzamiento de OPT-175B fue un hito en el panorama de los modelos de lenguaje de gran escala. Antes de él, los modelos de esta escala, como GPT-3, estaban disponibles solo a través de APIs de pago, limitando el estudio académico. Al proporcionar pesos abiertos, Meta permitió a los investigadores ejecutar, ajustar y sondear el modelo directamente. Esto condujo a una ola de estudios sobre temas como sesgos, toxicidad e interpretabilidad. El modelo también sirvió como referencia para modelos abiertos posteriores, como BLOOM y LLaMA, que se basaron en sus lecciones. Sin embargo, la liberación abierta también generó preocupaciones sobre el mal uso, ya que el modelo podía generar desinformación o spam convincente. Meta abordó esto requiriendo que los investigadores solicitaran acceso, aunque los pesos seguían siendo más accesibles que los modelos propietarios típicos.
Rendimiento y Evaluación
En los puntos de referencia estándar, OPT-175B se desempeñó de manera comparable a GPT-3, aunque con ligeras variaciones. Por ejemplo, en el conjunto SuperGLUE, logró puntuaciones similares, mientras que en algunas tareas de razonamiento como Winograd Schema, mostró diferencias menores. El modelo destacó en el aprendizaje con pocos ejemplos, igualando la capacidad de GPT-3 para adaptarse a nuevas tareas con solo unos pocos ejemplos. Sin embargo, tuvo dificultades con ciertos tipos de recuerdo factual y a veces produjo información alucinada. La evaluación de Meta también incluyó pruebas de preferencia humana, donde OPT-175B fue calificado como competitivo con GPT-3 en generación de texto abierto, aunque quedó rezagado en algunas tareas estructuradas. El rendimiento del modelo en generación de código fue menos robusto, reflejando el contenido limitado de código en sus datos de entrenamiento.
Limitaciones y Consideraciones Éticas
Como otros modelos grandes, OPT-175B mostró sesgos presentes en sus datos de entrenamiento. El propio análisis de Meta encontró que podía producir contenido estereotipado u ofensivo, particularmente en relación con género, raza y religión. El modelo también tenía una tendencia a repetir frases y podía ser fácilmente incitado a generar texto dañino. Para mitigar estos problemas, Meta proporcionó una tarjeta de modelo detallada y fomentó un uso responsable. También lanzaron una versión más pequeña, OPT-1.3B, para facilitar la experimentación. El debate ético sobre la apertura de modelos tan poderosos continuó, con algunos argumentando que la transparencia superaba los riesgos, mientras que otros pedían un acceso más controlado. A partir de 2024, OPT-175B sigue siendo un punto de referencia para el desarrollo de modelos abiertos, aunque los modelos más nuevos han superado sus capacidades.
Legado e Influencia
OPT-175B influyó en la dirección de la investigación en IA al demostrar que los modelos a gran escala podían ser abiertos sin consecuencias catastróficas. Allanó el camino para la serie LLaMA posterior de Meta, que mejoró aún más la eficiencia y la accesibilidad. El modelo también contribuyó al desarrollo de técnicas para el entrenamiento e inferencia eficientes, como el checkpointing de activaciones y el paralelismo tensorial. Sus registros de entrenamiento públicos se convirtieron en un recurso valioso para comprender los desafíos prácticos de la escalabilidad. Aunque no es el modelo más potente hoy en día, OPT-175B ocupa un lugar significativo en la historia de la IA generativa, representando un cambio hacia la apertura en un campo dominado por sistemas propietarios. Su lanzamiento alentó a otros laboratorios, como AI21 Labs y Inflection AI, a considerar estrategias abiertas, aunque muchos aún eligieron enfoques cerrados.