Jurassic es una familia de modelos de lenguaje de gran tamaño desarrollados por AI21 Labs, una empresa israelí de inteligencia artificial fundada en 2017. La serie Jurassic se encuentra entre los primeros modelos comerciales a gran escala basados en transformadores, posicionándose como competidora de modelos de OpenAI y Anthropic. La familia incluye varias generaciones, desde el Jurassic-1 original lanzado en 2021 hasta los más recientes Jurassic-2 y variantes especializadas, todos diseñados para tareas de comprensión y generación de lenguaje natural, como completar texto, resumir y responder preguntas.
Los modelos se basan en la arquitectura transformador, un marco de aprendizaje profundo introducido en 2017 que sustenta la mayoría de los sistemas modernos de IA generativa. AI21 Labs entrenó los modelos Jurassic con extensos corpus de texto, utilizando técnicas de red neuronal y métodos de optimización como Adam y programación de la tasa de aprendizaje. Los modelos Jurassic están disponibles a través de la API propietaria de AI21 Labs, así como en plataformas en la nube, incluyendo Amazon Web Services (AWS), Microsoft Azure y Google Cloud, lo que los hace accesibles para desarrolladores y empresas.
Historia y Desarrollo
AI21 Labs anunció Jurassic-1 en agosto de 2021, con dos tamaños de modelo: J1-Jumbo (178 mil millones de parámetros) y J1-Large (7.5 mil millones de parámetros). En ese momento, J1-Jumbo estaba entre los modelos de lenguaje más grandes disponibles públicamente, comparable al GPT-3 de OpenAI, que tenía 175 mil millones de parámetros. El equipo de desarrollo incluía a los cofundadores de AI21, Eilon Reshef y Dafna Sharon, junto con investigadores con experiencia en aprendizaje automático y lingüística computacional.
En 2022, AI21 Labs lanzó Jurassic-2, que introdujo mejoras en el seguimiento de instrucciones y el razonamiento. La familia Jurassic-2 incluía modelos como J2-Jumbo, J2-Grande y J2-Mid, con recuentos de parámetros que oscilaban entre 7.8 mil millones y 178 mil millones. Estos modelos se optimizaron para casos de uso específicos, incluyendo aplicaciones de IA generativa en servicio al cliente, creación de contenido y generación de código.
Para 2023, AI21 Labs amplió la línea Jurassic con modelos especializados. En octubre de 2023, la empresa lanzó Jurassic-2 Ultra, un modelo de 178 mil millones de parámetros con capacidades multilingües mejoradas. Al año siguiente, AI21 presentó Jurassic-2 Mid y Jamba, siendo este último una arquitectura híbrida que combina capas de transformador con modelos de espacio de estados, lo que mejoró la eficiencia para tareas de contexto largo.
Arquitectura y Entrenamiento
Los modelos Jurassic se basan en la arquitectura transformador, específicamente en la variante solo-decodificador, que también es utilizada por la serie GPT de OpenAI. Los modelos emplean mecanismos de atención de múltiples cabezas para procesar secuencias de entrada, junto con codificaciones posicionales para capturar el orden de las palabras. El entrenamiento utiliza atención cruzada en algunas variantes, aunque la arquitectura central es autorregresiva, prediciendo el siguiente token en una secuencia.
AI21 Labs entrenó los modelos Jurassic utilizando recursos de computación distribuida a gran escala, probablemente en GPU de NVIDIA, aunque los detalles específicos del hardware no están documentados públicamente. El proceso de entrenamiento involucró aumento de datos y estrategias de aprendizaje curricular para mejorar la generalización. La optimización se basó en variantes de descenso de gradiente estocástico como Adam, con recorte de gradiente y normalización de capas para estabilizar el entrenamiento.
Los modelos utilizan métodos de muestreo top-k y top-p para la generación de texto, junto con escalado de temperatura para controlar la aleatoriedad de la salida. La búsqueda de haz está disponible para tareas que requieren salidas más deterministas, como traducción o resumen.
Capacidades y Características
Los modelos Jurassic admiten una amplia gama de tareas de procesamiento de lenguaje natural. Pueden realizar completado de texto, resumen, paráfrasis y respuesta a preguntas. Los modelos también manejan generación y completado de código, lo que los hace útiles para flujos de trabajo de desarrollo de software. Jurassic-2 y versiones posteriores incluyen capacidades de seguimiento de instrucciones, lo que permite a los usuarios especificar tareas en lenguaje natural sin ajuste fino.
Una característica notable es el soporte para múltiples idiomas. Los modelos Jurassic-2 se entrenaron con datos en más de 100 idiomas, con especial fortaleza en inglés, español, francés, alemán y hebreo, reflejando los orígenes israelíes de AI21 Labs. Los modelos también admiten entradas estructuradas, como JSON y SQL, lo que permite la integración con bases de datos y API.
AI21 Labs proporciona una plataforma para desarrolladores con una API que incluye características como ajuste fino de modelos personalizados, búsqueda semántica y una herramienta de verificación de hechos llamada "Wordtune Read" y "Wordtune Write", que son productos separados pero comparten tecnología subyacente.
Comparación con Otros Modelos
Los modelos Jurassic compiten directamente con el GPT-3 y GPT-4 de OpenAI, el Claude de Anthropic y el Gemini de Google DeepMind. En evaluaciones comparativas, Jurassic-1 Jumbo se desempeñó de manera comparable a GPT-3 en tareas como SuperGLUE y LAMBADA, aunque se quedó atrás en algunos puntos de referencia de razonamiento. Jurassic-2 mejoró estas puntuaciones, particularmente en diálogo de múltiples turnos y seguimiento de instrucciones.
Un diferenciador clave es el enfoque de AI21 Labs en aplicaciones empresariales. La empresa enfatiza la privacidad de los datos y ofrece opciones de implementación local, lo que atrae a organizaciones con requisitos estrictos de cumplimiento. Además, los modelos Jurassic están disponibles en AWS a través de Amazon Bedrock, en Azure a través de los servicios de IA de Microsoft y en Google Cloud Vertex AI, proporcionando múltiples rutas de integración.
Aplicaciones y Casos de Uso
Los modelos Jurassic se utilizan en diversas industrias. En servicio al cliente, impulsan chatbots y asistentes virtuales que manejan consultas y resuelven problemas. En creación de contenido, ayudan a redactar artículos, textos de marketing y publicaciones en redes sociales. Las firmas legales y financieras usan Jurassic para resumir documentos y analizar contratos.
AI21 Labs también ofrece herramientas especializadas construidas sobre Jurassic, como Wordtune, un asistente de escritura impulsado por IA que sugiere reformulaciones y ajustes de tono. La empresa se ha asociado con Samsung para integrar funciones de IA en dispositivos móviles y con Intel para la optimización de hardware.
Rendimiento y Puntos de Referencia
Los modelos Jurassic han sido evaluados en puntos de referencia estándar de PLN. En el punto de referencia SuperGLUE, J1-Jumbo logró una puntuación de 82.4, ligeramente por debajo del 83.5 de GPT-3. En la prueba de modelado de lenguaje LAMBADA, J1-Jumbo alcanzó una precisión del 82.5%. Los modelos Jurassic-2 mostraron mejoras en el aprendizaje con pocos ejemplos, con J2-Jumbo superando a GPT-3 en varias tareas del punto de referencia MMLU.
En 2023, AI21 Labs informó que Jurassic-2 Ultra logró resultados de última generación en el punto de referencia HELM para algunas tareas, aunque la verificación independiente es limitada. La empresa publica métricas de rendimiento en su sitio web, pero las metodologías de evaluación detalladas no siempre se divulgan.
Disponibilidad y Precios
Los modelos Jurassic son accesibles a través de la API de AI21 Labs, que ofrece un modelo de precios de pago por uso basado en los tokens procesados. A partir de 2024, los precios comienzan en $0.01 por 1,000 tokens para los modelos más pequeños y aumentan para los más grandes. La API admite solicitudes tanto síncronas como asíncronas, con una longitud máxima de contexto de 8,192 tokens para la mayoría de los modelos.
AI21 Labs también proporciona un nivel gratuito para que los desarrolladores experimenten con los modelos. Los clientes empresariales pueden negociar contratos personalizados, incluyendo infraestructura dedicada y acuerdos de nivel de servicio. Los modelos también están disponibles en mercados en la nube, como AWS Marketplace y Azure Marketplace.
Direcciones Futuras
AI21 Labs continúa desarrollando la familia Jurassic, con un enfoque en mejorar la eficiencia y reducir los costos computacionales. La empresa ha explorado técnicas de poda de modelos y redes residuales para crear modelos más pequeños y rápidos sin una pérdida significativa de rendimiento. En 2024, AI21 anunció investigación sobre arquitecturas híbridas que combinan capas de transformador con componentes recurrentes, con el objetivo de manejar secuencias más largas de manera más eficiente.
La empresa también está invirtiendo en alineación y seguridad, utilizando métodos como aprendizaje por refuerzo a partir de retroalimentación de IA para reducir salidas dañinas. A medida que el campo de la IA generativa evoluciona, se espera que los modelos Jurassic integren más capacidades multimodales, procesando potencialmente imágenes y audio además de texto.
Recepción e Impacto
Los modelos Jurassic han sido bien recibidos en la comunidad de IA por su fuerte rendimiento y accesibilidad. AI21 Labs ha recaudado fondos significativos, incluyendo una ronda Serie C de $208 millones en 2022, valorando a la empresa en más de $1.4 mil millones. Los modelos se han utilizado en investigación académica y aplicaciones industriales, contribuyendo a la adopción más amplia de modelos de lenguaje de gran tamaño fuera de las principales empresas tecnológicas de EE. UU.
Los críticos señalan que los modelos Jurassic no han alcanzado el mismo nivel de reconocimiento público que GPT-4 o Claude, en parte debido a un marketing menos agresivo. Sin embargo, los modelos son respetados por sus capacidades multilingües y su enfoque empresarial, lo que convierte a AI21 Labs en un actor notable en el competitivo panorama de la IA.