Jais ist ein quelloffenes großes Sprachmodell, das entwickelt wurde, um hochwertigen Text sowohl auf Arabisch als auch auf Englisch zu erzeugen. Es wurde im August 2023 veröffentlicht und durch eine Zusammenarbeit zwischen dem emiratischen KI-Unternehmen G42, der Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) und dem US-amerikanischen Hardware-Unternehmen Cerebras Systems entwickelt. Das Modell wurde geschaffen, um die Unterrepräsentation der arabischen Sprache in der generativen künstlichen Intelligenz zu beheben, mit dem Ziel, den 400 Millionen arabischsprachigen Menschen weltweit kulturell und sprachlich präzise Ergebnisse zu liefern. Sein Name bezieht sich auf den Jebel Jais, den höchsten Berg der Vereinigten Arabischen Emirate.
Hintergrund und Entwicklung
Jais entstand aus der Erkenntnis, dass bestehende große Sprachmodelle bei Arabisch aufgrund begrenzter oder minderwertiger Trainingsdaten oft schlecht abschnitten. Das Projekt stellt eine bedeutende Investition der VAE in künstliche Intelligenz im Rahmen ihrer nationalen Strategie dar. Die Entwicklungspartnerschaft umfasste Inception (jetzt Core42), eine Tochtergesellschaft von G42; MBZUAI, eine auf KI spezialisierte Forschungsuniversität; und Cerebras Systems, das spezielle KI-Hardware bereitstellte. Die Zusammenarbeit zielte darauf ab, ein Modell zu schaffen, das die vielfältigen Dialekte und kulturellen Nuancen des Arabischen bewältigen kann, die in Modellen, die überwiegend mit englischen Daten trainiert wurden, oft vernachlässigt wurden.
Training
Die erste Version von Jais, die im August 2023 veröffentlicht wurde, hatte 13 Milliarden Parameter. Im November 2023 veröffentlichte Core42 eine verbesserte Version, Jais 30B, mit 30 Milliarden Parametern. Beide Modelle wurden auf einem Teil des Cerebras Condor Galaxy 1-Supercomputers trainiert, einem leistungsstarken Rechensystem, das für große Deep-Learning-Aufgaben entwickelt wurde. Der Trainingsdatensatz umfasste eine Mischung aus Arabisch, Englisch und Computercode. Laut Timothy Baldwin, einem Professor für natürliche Sprachverarbeitung an der MBZUAI, ermöglicht das Training mit einem vielfältigen arabischen Datensatz dem Modell, zwischen Dialekten zu wechseln, was seinen praktischen Nutzen für arabischsprachige Nutzer erhöht.
Funktionen
Jais ist darauf ausgelegt, Text sowohl auf Englisch als auch auf Arabisch zu erzeugen, was es zu einem zweisprachigen Werkzeug für eine breite Palette von Anwendungen macht. Das Projekt hat auch instruktionsoptimierte "Chat"-Varianten für sowohl die 13B- als auch die 30B-Modelle veröffentlicht, die speziell für Konversationsanwendungsfälle optimiert sind. Diese Varianten werden feinabgestimmt, um Benutzeranweisungen zu befolgen und Dialoge zu führen, ähnlich wie andere Transformer-basierte Modelle. Zukünftige Veröffentlichungen sollen zusätzliche Funktionen für die Arbeit mit Bildern, Grafiken und tabellarischen Daten umfassen, was die Fähigkeiten des Modells über die Textgenerierung hinaus erweitert.
Auswirkungen und Bedeutung
Jais trägt zur Diversifizierung der Landschaft großer Sprachmodelle bei, die von englisch-zentrierten Modellen von Unternehmen wie OpenAI und Google DeepMind dominiert wurde. Durch den Fokus auf Arabisch hilft Jais, die Lücke in der KI-Zugänglichkeit für eine große Bevölkerung zu schließen, die von bestehenden Technologien unterversorgt wurde. Die quelloffene Natur des Modells ermöglicht es Forschern und Entwicklern, es anzupassen und zu verbessern, was Innovationen in der arabischen Verarbeitung natürlicher Sprache und verwandten Bereichen fördert. Zum Zeitpunkt seiner Veröffentlichung stellte Jais einen bemerkenswerten Schritt in Richtung einer inklusiveren KI dar, obwohl seine langfristigen Auswirkungen von der Übernahme durch die Gemeinschaft und der fortgesetzten Entwicklung abhängen werden.
Referenzen
Externe Links
Offizielle Website