Qwen2.5は、Alibaba Cloudが開発したオープンウェイトの大規模言語モデルのファミリーであり、2024年9月にリリースされた。これはQwen2シリーズの後継であり、進行中のGenerative AIの進化における重要な反復を表しており、モデルは0.5億から72億パラメータの範囲に及ぶ。このファミリーには、ベースモデル、命令チューニングされた変種、およびコーディングと数学的推論に最適化されたドメイン固有バージョンが含まれる。
Qwen2.5のリリースは、前身のアーキテクチャとトレーニング手法を拡張し、データ品質とトレーニング規模の改善を組み込んだ。モデルは寛容なオープンライセンスの下で利用可能となり、学術的および商業的使用の両方が、カジュアルなMachine learning実験から、AWS、Azure、その他のクラウドプラットフォームでの本番LLM導入まで、幅広いアプリケーションで可能となった。
このファミリーは、公開のAIベンチマークリーダーボードで顕著なパフォーマンスを達成し、同等のパラメータ数でOpenAI、Anthropic、Google DeepMindのモデルとしばしば好意的に競合した。そのアクセシビリティと競争力のあるパフォーマンスは、オープンソースAIコミュニティ内での広範な採用に貢献した。
アーキテクチャとトレーニング
すべてのQwen2.5変種はTransformer (architecture)アーキテクチャに基づいており、現代の因果言語モデルに典型的なデコーダーのみの構造を利用している。このアーキテクチャは、Multi-Head AttentionメカニズムとPositional Encoding関数を組み込み、Layer Normalizationと残差接続を備えて、大規模での安定したトレーニングを容易にしている。
モデルは大規模な語彙トークナイザーを採用し、多言語データの混合でトレーニングされており、特に英語と中国語に強みがある。トレーニングでは、Adam (Optimizer)と学習率スケジュール、Gradient Clipping、正則化のためのDropoutを含む高度な最適化技術が利用された。
モデルサイズは0.5B、1.5B、3B、7B、14B、32B、72Bパラメータに及ぶ。各サイズには、継続的なファインチューニング用のベースモデルと、RLHFスタイルの手法で調整された命令チューニングバージョンがある。この段階的な構成により、ユーザーはリソース制約のあるエッジデバイスからハイエンドクラスターまで、適切な計算量とパフォーマンスのトレードオフを選択できる。
専門化されたコーディング変種であるQwen2.5-Coderは、プログラミングコーパスでの追加トレーニングと、長いコードシーケンスを処理する能力を備えてリリースされた。数学に焦点を当てた変種であるQwen2.5-Mathは、競技数学の問題解決と推論タスクを対象としていた。
パフォーマンスとベンチマーク
Qwen2.5-72B-Instructは、MMLU、HumanEval、GSM8Kなどの広く引用されるベンチマークで強力な結果を示した。いくつかの評価では、他の開発者の同様のサイズのモデルを上回ったが、公開リーダーボードに基づくと、2024年にリリースされたオープンウェイトモデルのトップ層にしばしばランクインした。
コーディング特化モデルは、コード補完、バグ修正、リポジトリレベルの理解などのタスクで優れた成績を収めた。数学特化変種は、競技レベルの問題セットで高い合格率を達成し、いくつかの評価では大規模なプロプライエタリシステムに匹敵した。
LMArenaとOpen LLMリーダーボードでの独立した評価がそのパフォーマンスを捉え、多くのコミュニティベンチマークには、新しいオープンモデルの参照点として7Bおよび72B変種が含まれていた。
ユースケースとエコシステム
Qwen2.5モデルは、Hugging Face Transformers、vLLM、Groqハードウェアアクセラレータなど、多数のフレームワークとプラットフォームに統合されている。SambaNovaとGraphcoreも、低遅延導入を求める企業向けに最適化された推論パスを提供した。
開発者は、チャットボットアプリケーション、コンテンツ生成、構造化データ抽出、ドメイン固有コーパスでのファインチューニングにモデルを使用してきた。オープンウェイトにより、Model Pruningと量子化が可能になり、エッジデバイスやモバイルプラットフォームへの導入が可能になった。
Alibaba Cloud、Google Cloud、Oracle Cloudなどのクラウドプロバイダーがマネージドサービスを提供した。ヘルスケア、金融、カスタマーサポートなどのセクターのエンタープライズユーザーがベースモデルを適応させたが、正確な導入はしばしば公に詳細化されていない。
影響と遺産
Qwenシリーズの一部として、Qwen2.5はグローバルなLLM環境におけるAlibaba Cloudの地位を強化した。このリリースは、プロプライエタリな提供に挑戦する高性能オープンウェイトモデルのトレンドを継続し、Berkeley AI ResearchとStanford AI Labのコミュニティをよりオープンな評価実践へと押し進めた。
複数のパラメータサイズの利用可能性は、小規模なラボや個人研究者の参入障壁を下げ、控えめなハードウェアでのファインチューニングを可能にした。このモデルファミリーはまた、ライセンス、再現性、高度なAI機能への公平なアクセスに関するOpenPanelの議論にも貢献した。
急速に進化する分野がすぐに後継を見る一方で、Qwen2.5は2024年を通じて、そして2025年に入っても競争力のある参照点であり続け、その命令チューニングされた変種は2025年初頭の時点でも依然として活発に使用されている。