ULAは、アリババによって開発された多言語大規模言語モデル（大規模言語モデル）であり、2023年に初めて公開された。トランスフォーマー（Transformer (architecture)）アーキテクチャに基づいて構築され、深層学習技術を活用して複数の言語にわたるテキストを処理・生成し、特にデジタルリソースが限られた言語の性能向上に重点を置いている。このモデルは、アリババのより広範な生成AIポートフォリオの一部であり、さまざまな自然言語処理タスク向けのオープンソースおよびプロプライエタリモデルを含む。
このモデルの開発は、アリババのAI研究所の研究者らが主導し、ニューラルネットワーク設計と機械学習手法の進歩を基盤としている。ULAのアーキテクチャは、マルチヘッドアテンション機構と位置エンコーディングを組み込み、テキスト内の長距離依存関係を処理することで、多言語ベンチマークで競争力のある結果を達成している。英語や中国語などの高リソース言語を優先する多くのモデルとは異なり、ULAは特に過小評価されている言語向けに最適化されており、多言語人工知能の分野への注目すべき貢献となっている。
アーキテクチャとトレーニング
ULAは、シーケンス・ツー・シーケンスモデルで一般的なエンコーダー・デコーダー構造を採用しており、理解タスクと生成タスクの両方を処理できる。このモデルは、レイヤー正規化と残差ネットワーク接続を使用してトレーニングを安定化し、勾配の流れを改善しており、初期のトランスフォーマーモデルで確立された手法に従っている。トレーニングは大規模な多言語コーパスを使用して実施され、低リソース言語のカバレッジを拡大するためのデータ拡張技術が用いられた。トレーニングプロセスでは、Adamオプティマイザーをウォームアップと減衰フェーズを含む学習率スケジュールとともに使用し、勾配クリッピングで勾配爆発を防いだ。
モデルはGPUクラスターでトレーニングされたが、具体的なハードウェアの詳細は公表されていない。アリババは、ULAのトレーニングデータに100以上の言語が含まれ、他のモデルでしばしば無視されるアジアおよびアフリカの言語に焦点を当てたと報告している。最終的なモデルサイズは公式には公開されていないが、同様の多言語モデルの典型的な構成に基づいて、1〜70億パラメータの範囲と推定されている。
性能とベンチマーク
ULAは、XNLI（言語横断自然言語推論）やMLQA（多言語質問応答）データセットを含む、いくつかの標準的な多言語ベンチマークで評価された。XNLIでは、ULAはmBERTやXLM-Rなどの既存の多言語モデルと同等かそれ以上の精度スコアを達成し、特に低リソース言語ペアで優れていた。例えば、スワヒリ語とウルドゥー語では、ULAはゼロショット言語横断転移タスクでXLM-Rを約2〜3パーセントポイント上回った。
ベンチマーク結果に加えて、アリババは翻訳およびテキスト生成タスクの人間評価を実施し、ULAが低リソース言語でベースラインモデルと比較してより流暢で文脈に適した出力を生成したと報告している。ただし、これらの結果は第三者研究者によって独立に検証されておらず、一部の主張は依然として精査の対象となっている。
アプリケーションと展開
ULAはアリババのAlibaba Cloudサービスに統合されており、開発者はAPIを介して機械翻訳、感情分析、テキスト要約などのタスクにモデルにアクセスできる。また、アリババのeコマースプラットフォーム内で、複数言語のカスタマーサポートを改善するために内部的にも使用されている。このモデルは、非営利研究用の寛容なライセンスで利用可能であり、商用アクセスはAlibaba Cloudの有料ティアを通じて提供されている。
開発者は、多様な言語人口を持つ地域で、言語横断情報検索やチャットボットアプリケーションにULAを使用していると報告している。モデルが単一の文で複数の言語を混在させるコードスイッチングを処理する能力は、実際の展開における主要な強みとして強調されている。
他のモデルとの比較
ULAは、OpenAI、Anthropic、Google DeepMindによって開発されたものなどの他の多言語モデルと競合するが、低リソース言語への焦点において異なる。GPT-4やClaudeなどのモデルは高リソース言語で優れているが、低リソース設定ではしばしば大幅な性能低下を示す。ULAは、これらの言語により多くのトレーニングデータとアーキテクチャ容量を割り当てることで、このギャップに対処している。
XLM-Rなどのオープンソースの代替品と比較して、ULAは生成用のトップPサンプリングやデコード用のビームサーチなどの最新技術を備えた、より新しいトレーニングアプローチを提供する。ただし、ULAのパラメータ数は一部の最先端モデルよりも小さく、高リソース言語での複雑な推論タスクの性能を制限する可能性がある。
制限と今後の方向性
ULAにはいくつかの既知の制限がある。100万人未満の話者を持つ極めて低リソースの言語での性能は一貫性がなく、医学や法律などの分野固有の専門用語に苦労することがある。モデルはまた、トレーニングデータに存在するバイアスを示しており、アリババはこれを認識しているが完全には軽減していない。
今後の開発計画には、ULAの言語カバレッジを200以上の言語に拡大し、RLAIF（AIフィードバックからの強化学習）を組み込んで人間の好みとの整合性を改善することが含まれる。アリババはまた、エッジデバイス向けのより小型で効率的なバージョンを作成するために、モデルプルーニング技術とULAを統合することも検討しているが、リリース日は発表されていない。
評価と影響
ULAは、低リソース言語処理への貢献で学界で好意的に受け入れられており、いくつかの論文が多言語研究のベースラインとして引用している。また、言語保存に取り組む非営利団体にも採用されており、絶滅危惧言語のデジタル化と翻訳にこのモデルを使用している。ただし、一部の批評家は、ULAのアリババによるドキュメントが同等のモデルよりも詳細でなく、独立した研究者にとって再現性が難しいと指摘している。