Qwen2.5 Coderは、コード生成、コード補完、ソフトウェアエンジニアリングタスクのためにAlibaba Cloudによって開発された大規模言語モデルのファミリーである。このファミリーは2024年にQwen2.5シリーズの一部としてリリースされ、以前のQwen2.5ベースモデルを継承し、開発者や企業を対象としている。モデルはTransformer (architecture)アーキテクチャに基づいて構築されており、0.5B、1.5B、3B、7B、14B、32Bの複数のパラメータサイズで提供され、ベース版と命令チューニング版の両方が存在する。
これらのモデルは、幅広いプログラミング言語とソフトウェア開発ワークフローを処理するように設計されている。コード合成、バグ修正、コード説明、単体テスト生成などのタスクをサポートする。Qwen2.5 Coderモデルは公開ベンチマークで評価されており、さまざまな機械学習および生成AIリーダーボードに登場し、他のオープンウェイトコードモデルと比較して競争力のある性能を示している。
アーキテクチャとトレーニング
Qwen2.5 Coderモデルは、デコーダーのみのTransformer (architecture)アーキテクチャとマルチヘッド自己注意および回転位置埋め込みを使用している。モデルは正規化にRMSNormを採用し、フィードフォワード層でSwiGLU活性化関数を使用している。トレーニングプロセスには、自然言語とコードデータの混合による大規模な事前トレーニングが含まれ、その後、命令チューニング版に対して教師ありファインチューニングとAIフィードバックからの強化学習が行われた。
最大のバリアントであるQwen2.5-Coder-32Bは、320億のパラメータを含み、最大131,072トークンのコンテキストウィンドウを使用して、長いコードファイルやリポジトリを処理できる。小さなバリアントはエッジ展開やリソース制約のある環境向けに設計されており、0.5Bモデルはオンデバイスアプリケーションに適している。
機能と性能
Qwen2.5 Coderモデルは、Python、JavaScript、Java、C++、Go、Rustを含む80以上のプログラミング言語でコードを生成できる。部分的なコードスニペットを補完し、自然言語の説明から完全な関数を生成し、コードのリファクタリングやデバッグを支援できる。命令チューニング版は、コーディング規約、スタイルガイド、プロジェクト固有のコンテキストを含む複雑なプロンプトに従うように最適化されている。
HumanEval、MBPP、SWE-benchスイートなどの公開ベンチマークでは、より大きなQwen2.5 Coderモデルは、同規模の他のオープンウェイトコードモデルと同等またはそれを上回るスコアを達成している。32Bモデルは、リポジトリレベルのコードタスクでの強力な性能で注目されており、複数ファイルの変更やファイル間の依存関係を処理できる。
展開とエコシステム
Qwen2.5 Coderモデルは、商用利用を許可するオープンライセンスの下で配布されており、AWS、Azure、その他のクラウドプラットフォームへの統合が可能である。モデルはHugging FaceとModelScopeを通じて利用でき、Ollama、vLLM、llama.cppを使用してローカル推論用に展開できる。Alibaba Cloudはまた、Model Studioサービスを通じてモデルを提供し、エンタープライズユーザー向けのマネージドAPIアクセスを提供している。
このファミリーには、命令追従用にファインチューニングされたQwen2.5-Coder-Instructや、エージェント型コーディングワークフロー向けに最適化されたQwen2.5-Coder-32B-Instructなどの専門バリアントが含まれている。これらのバリアントは、外部ツールや統合開発環境と連携するように設計されており、オートコンプリートやチャットベースのコード支援などの機能を可能にする。
評価と影響
Qwen2.5 Coderはオープンソースコミュニティで広く採用されており、公開LLMおよびメディアのリーダーボードに登場し、トップクラスのオープンウェイトコードモデルとしてランク付けされている。そのリリースは、OpenAIやAnthropicなどの企業によるプロプライエタリシステムと競合するオープンソースAIモデルの成長トレンドに貢献した。モデルは学術研究、企業の開発パイプライン、教育環境で使用されており、ソフトウェアエンジニアリングのための深層学習に関する研究で引用されている。
特に32Bバリアントは、量子化技術によりコンシューマーグレードのハードウェアで実行できる能力が強調されており、高度なコード生成を個人開発者にも利用可能にしている。モデルファミリーの性能、寛容なライセンス、多言語サポートの組み合わせは、カスタムコーディングアシスタントや自動化ソフトウェアツールの構築に人気のある選択肢となっている。