CPM-3は、北京智源人工智能研究院（BAAI）によって開発された大規模な事前学習言語モデルであり、1750億のパラメータを備えています。CPM（中国語事前学習モデル）シリーズの一員として、テキスト生成、理解、対話を含む幅広い自然言語処理タスクを処理するように設計されています。このモデルは、Artificial intelligenceの研究とインフラストラクチャを進める中国の取り組みの一部であり、OpenAIやGoogle DeepMindのモデルといった国際的なモデルに対応するものとして位置づけられています。
CPM-3は、ほとんどの現代のLarge language modelシステムの基盤となっているTransformer (architecture)アーキテクチャに基づいています。1750億のパラメータという規模は、公に知られている中国語モデルの中で最大級のものに位置し、複雑な言語パターンや知識を捉えることを可能にしています。このモデルは多様な中国語コーパスで訓練されており、要約、質問応答、創造的執筆などのタスクを高い流暢さで実行できます。
アーキテクチャと訓練
CPM-3は、他の最先端の言語モデルと同様に、Multi-Head Attentionメカニズムを備えた高密度トランスフォーマーモデルを採用しています。訓練プロセスには膨大な計算リソースが関与し、数か月にわたって数千のGPUを使用します。BAAIは正確な訓練データセットのサイズを公開していませんが、中国語のウェブテキスト、書籍、その他の厳選されたソースの混合が含まれています。このモデルは、訓練を安定させ、収束を改善するためにPositional EncodingとLayer Normalizationを使用しています。
計算コストを削減するために混合専門家層を使用する一部のモデルとは異なり、CPM-3は高密度モデルであり、推論中にすべてのパラメータがアクティブになります。この設計選択は、GPT-3のような初期の大規模モデルに見られる傾向と一致し、効率よりもモデル品質を優先します。訓練では、この規模のモデルを最適化する際の課題に対処するために、Gradient ClippingとLearning Rate Schedulingの技術を活用しました。
能力と応用
CPM-3は、テキスト補完、翻訳、感情分析などの中国語タスクに優れています。一貫性があり、文脈に関連した応答を生成できるため、チャットボットや仮想アシスタントに適しています。このモデルはSequence-to-Sequence (Seq2Seq)タスクもサポートしており、テキスト要約や言い換えなどの応用を可能にします。BAAIは研究目的でモデルを公開しており、学者が医学や法律などの特定の分野に微調整できるようにしています。
実際の展開では、CPM-3はAlibaba Cloudや他の中国のクラウドプラットフォームでエンタープライズソリューションを強化するために使用されています。微妙な中国語の慣用句や文化的参照を理解する能力は、主に英語データで訓練されたモデルよりも優位性を与えます。ただし、他の大規模モデルと同様に、偏ったまたは不正確な出力を生成する可能性があり、BAAIは有害なコンテンツを軽減するための安全フィルターを実装しています。
他のモデルとの比較
CPM-3は、同じく1750億のパラメータを持つOpenAIのGPT-3とよく比較されます。GPT-3は多言語データで訓練されていますが、CPM-3は中国語に焦点を当てており、中国語のベンチマークで優れたパフォーマンスを発揮します。対照的に、AnthropicのClaudeやGoogle DeepMindのChinchillaのようなモデルは、それぞれ安全性と効率を優先しています。CPM-3の高密度アーキテクチャは、同様の規模であるが異なる訓練戦略を使用するGoogle DeepMindのGopherとは異なります。
CPMシリーズ内では、CPM-3はより少ないパラメータ数を持つCPM-1とCPM-2に続きます。この進化は、中国語モデルのスケーリングに対するBAAIのコミットメントを反映しています。商業製品に統合されているAlibaba DAMO Academyのモデルとは異なり、CPM-3は主に研究用の成果物であり続けていますが、その後の中国のモデルに影響を与えています。
影響と評価
2021年のCPM-3のリリースは、中国のAIコミュニティで大きな関心を集め、フロンティア規模のモデルを生産する国の能力を強調しました。多数の学術論文で引用されており、中国のNLP研究のベースラインとして機能しています。批評家は、訓練と推論の高い計算コストを指摘しており、これがアクセシビリティを制限しています。BAAIは研究者向けにAPIを提供することでこれに対処していますが、OpenAIの提供ほど広く利用可能ではありません。
CPM-3はまた、Machine learning分野全体で共有される懸念である、大規模訓練の環境への影響についての議論を引き起こしました。これらの課題にもかかわらず、このモデルは中国語でのGenerative AIの進歩に貢献し、CPM-4や商業システムなどのその後のモデルへの道を開きました。
将来の方向性
BAAIはCPMシリーズの開発を継続しており、後のバージョンでは効率と整合性の改善が組み込まれています。将来のイテレーションでは、リソース要件を削減するためにModel PruningやData Augmentationなどの技術を採用する可能性があります。組織はまた、Reinforcement Learning from AI Feedback (RLAIF)と同様に、安全性と有用性を高めるために人間のフィードバックからのReinforcement learningの統合を探求しています。中国がAIインフラストラクチャに多額の投資を行う中、CPM-3のようなモデルは、国のデジタル経済を形成する上で極めて重要な役割を果たすと期待されています。
研究者はまた、量子化や蒸留法を含む、CPM-3をよりアクセスしやすくする方法を調査しています。これらの取り組みは、大規模言語モデルへのアクセスを民主化し、小規模な組織がその能力を活用できるようにすることを目的としています。CPM-3の遺産は、非西洋の機関がAIで最先端の結果を達成できることを実証し、より多様なグローバルな研究環境を育成したことにあります。