Jaisは、アラビア語と英語の両方で高品質なテキストを生成するように設計されたオープンソースの大規模言語モデルである。2023年8月に発表され、アラブ首長国連邦のAI企業G42、モハメド・ビン・ザーイド人工知能大学（MBZUAI）、および米国を拠点とするハードウェア企業Cerebras Systemsの協力により開発された。このモデルは、生成的人工知能におけるアラビア語の過小評価に対処するために作られ、世界の4億人のアラビア語話者に文化的・言語的に正確な出力を提供することを目指している。その名称は、アラブ首長国連邦で最も高い山であるジェベル・ジャイスに由来する。
背景と開発
Jaisは、既存の大規模言語モデルが、限られた質の低いトレーニングデータのためにアラビア語でしばしば性能が低いという認識から生まれた。このプロジェクトは、国家戦略の一部としてアラブ首長国連邦による人工知能への重要な投資を表している。開発パートナーシップには、G42の子会社であるInception（現在のCore42）、AIに特化した研究大学であるMBZUAI、および専門のAIハードウェアを提供したCerebras Systemsが関与した。この協力は、主に英語データで訓練されたモデルでしばしば無視されてきたアラビア語の多様な方言と文化的ニュアンスを処理できるモデルを作成することを目的とした。
トレーニング
2023年8月に発表されたJaisの初期バージョンは、130億のパラメータを持っていた。2023年11月には、Core42が300億のパラメータを持つ改良版Jais 30Bを発表した。両モデルは、大規模な深層学習タスク用に設計された強力なコンピューティングシステムであるCerebras Condor Galaxy 1スーパーコンピュータの一部で訓練された。トレーニングデータセットは、アラビア語、英語、およびコンピュータコードの混合で構成されていた。MBZUAIの自然言語処理教授であるティモシー・ボールドウィンによると、多様なアラビア語データセットでのトレーニングにより、モデルは方言間を切り替えることができ、アラビア語話者にとっての実用的な有用性が向上する。
特徴
Jaisは英語とアラビア語の両方でテキストを生成するように設計されており、幅広いアプリケーション向けのバイリンガルツールとなっている。このプロジェクトはまた、13Bおよび30Bモデルの両方に対して、会話ユースケースに特化して最適化された指示チューニング済みの「Chat」バリアントも公開している。これらのバリアントは、他のトランスフォーマーベースのモデルと同様に、ユーザーの指示に従い対話に参加するように微調整されている。将来のリリースでは、画像、グラフ、および表形式データを扱う追加機能が計画されており、テキスト生成を超えてモデルの能力が拡張される。
影響と重要性
Jaisは、OpenAIやGoogle DeepMindなどの企業による英語中心のモデルが支配してきた大規模言語モデルの状況の多様化に貢献している。アラビア語に焦点を当てることで、Jaisは既存技術によって十分にサービスを受けていない大規模な人口に対するAIアクセシビリティのギャップを埋めるのに役立つ。モデルのオープンソース性により、研究者や開発者はそれを適応・改善でき、アラビア語の自然言語処理および関連分野における革新を促進する。リリース時点で、Jaisはより包括的なAIへの顕著な一歩を表しているが、その長期的な影響はコミュニティの採用と継続的な開発に依存する。
参考文献
外部リンク
公式ウェブサイト