Jais es un modelo de lenguaje de gran tamaño de código abierto diseñado para generar texto de alta calidad tanto en árabe como en inglés. Lanzado en agosto de 2023, fue desarrollado mediante una colaboración entre la empresa emiratí de inteligencia artificial G42, la Universidad de Inteligencia Artificial Mohamed bin Zayed (MBZUAI) y la empresa de hardware estadounidense Cerebras Systems. El modelo se creó para abordar la subrepresentación del idioma árabe en la inteligencia artificial generativa, con el objetivo de servir a los 400 millones de hablantes de árabe del mundo con resultados precisos a nivel cultural y lingüístico. Su nombre hace referencia a Jebel Jais, la montaña más alta de los Emiratos Árabes Unidos.
Antecedentes y desarrollo
Jais surgió del reconocimiento de que los modelos de lenguaje de gran escala existentes a menudo tenían un rendimiento deficiente en árabe debido a datos de entrenamiento limitados o de baja calidad. El proyecto representa una inversión significativa de los EAU en la inteligencia artificial como parte de su estrategia nacional. La asociación de desarrollo involucró a Inception (ahora Core42), una subsidiaria de G42; a la MBZUAI, una universidad de investigación dedicada a la IA; y a Cerebras Systems, que proporcionó hardware especializado para IA. La colaboración tenía como objetivo crear un modelo que pudiera manejar los diversos dialectos y matices culturales del árabe, que a menudo se pasaban por pasaban por alto en los modelos entrenados predominantemente con datos en inglés.
Entrenamiento
La versión inicial de Jais, publicada en agosto de 2023, tenía 13 mil millones de parámetros. En noviembre de 2023, Core42 lanzó una versión mejorada, Jais 30B, con 30 mil millones de parámetros. Ambos modelos se entrenaron en un subconjunto del supercomputadora Condor Galaxy 1 de Cerebras, un sistema de computación potente diseñado para tareas de aprendizaje profundo a gran escala. El conjunto de datos de entrenamiento incluía una mezcla de árabe, inglés y código informático. Según Timothy Baldwin, profesor de procesamiento del lenguaje natural en la MBZUAI, el entrenamiento en un conjunto de datos árabe diverso permite que el modelo cambie entre períodos, aumentando su utilidad práctica para los hablantes de árabe.
Características
Jais está diseñado para generar texto tanto en inglés como en árabe, lo que lo convierte en una herramienta bilingüe para una amplia gama de aplicaciones. El proyecto también ha lanzado variantes "Chat" ajustadas por instrucciones para tanto los modelos de 13B como los de 30B, que se optimizan específicamente para casos de uso conversacional. Estas variantes se ajustan para seguir las instrucciones del usuario y entablen diálogos, similar a otros modelos basados en transformers. Se planifican lanzamientos futuros para incluir funcionalidades adicionales para trabajar con imágenes, gráficos y datos tabulares, lo que expandirá las capacidades del modelo más allá de la generación de texto.
Impacto y relevancia
Jais contribuye a la diversificación del panorama de modelos de lenguaje de gran escala, que ha estado dominado por modelos centrados en inglés de empresas como OpenAI y Google DeepMind. Al centrarse en el árabe, Jais ayuda a cerrar la brecha de acceso a la IA para una gran población que ha estado desatendida por las tecnologías existentes. La naturaleza de código abierto de la IA permite a los investigadores y desarrolladores adaptar y mejor el modelo, fomentando la innovación en el procesamiento del lenguaje natural árabe y sus campos relacionados. Hasta su lanzamiento, Jais representó un paso notable hacia una IA más inclusiva, aunque su impacto a largo plazo dependerá de la adopción por parte de la comunidad y del desarrollo continuo.
Referencias
Enlaces externos
Official website