Mistral 7Bは、フランスの人工知能企業Mistral AIによって開発された大規模言語モデル（LLM）である。2023年9月に公開され、70億のパラメータを持つトランスフォーマーベースのニューラルネットワークであり、効率性と性能を両立するよう設計されている。このモデルはオープンソースライセンスの下で提供され、研究者や開発者が自由に使用・改変できるようにされた。Mistral AIは、Mistral 7BがテストされたすべてのベンチマークでMetaのLLaMA 2 13Bを上回り、多くのベンチマークでLLaMA 34Bと同等かそれを超える性能を示したと主張した。これは、パラメータ数が大幅に少ないにもかかわらず達成された。この公開により、Mistral AIは、OpenAI、Anthropic、Google DeepMindなどのモデルを含む競争の激しい生成AI分野において注目すべきプレイヤーとして位置づけられた。
このモデルのアーキテクチャは、マルチヘッドアテンション、残差ネットワーク、レイヤー正規化など、現代のLLMで一般的な技術を組み込んでいる。これは、Adamなどの最適化アルゴリズムや深層学習手法を活用し、大規模なテキストデータのコーパスを用いて訓練された。Mistral 7Bは8,000トークンのコンテキスト長をサポートし、チャットアプリケーション用に微調整されたバージョンを含む複数のバリアントが提供されている。公開時には、モデルの能力とベンチマークを詳述したブログ投稿が併せて発表され、AIコミュニティでの急速な採用に貢献した。
背景と開発
Mistral AIは、2023年4月にArthur Mensch、Guillaume Lample、Timothée Lacroixによって設立された。3人とも元Google DeepMindまたはMeta Platformsの研究者である。同社はフランスのパリに本社を置き、オープンソースのAIモデルの開発に注力している。Mistral 7Bの開発は、より大規模な専有モデルと競争できる効率的で高性能なLLMを生み出すというMistralの広範な戦略の一環であった。このモデルは複数のデータソースを混合して訓練され、その公開はアクセスしやすいAIツールへの需要の高まりに合わせて行われた。
技術仕様
Mistral 7Bは、70億のパラメータを持つデコーダーのみのトランスフォーマーモデルである。推論速度を向上させメモリ使用量を削減するためにグループ化クエリアテンション（GQA）を、長いシーケンスを効率的に処理するためにスライディングウィンドウアテンション（SWA）を使用している。このモデルは公開されているテキストのデータセットで訓練され、その訓練プロセスには勾配クリッピングや学習率スケジューリングなどの技術が含まれていた。モデルの性能は、MMLU、HellaSwag、HumanEvalなどの標準的なベンチマークで評価され、競争力のある結果を示した。
影響と評価
Mistral 7Bの公開は、そのオープンソース性とサイズに対する強い性能により、AIコミュニティで好意的に受け入れられた。これは、小規模な組織や個人開発者が大規模な計算リソースなしで高性能なLLMを展開できるようにしたため、高度なAIへのアクセスを民主化する重要な一歩と見なされた。このモデルはまた、混合専門家アーキテクチャを使用するMixtral 8x7Bなど、その後の効率的なモデル設計の発展にも影響を与えた。Mistral 7Bは、チャットボット、コード生成、研究などさまざまなアプリケーションで使用され、Amazon Web ServicesやAzureなどのプラットフォームに統合されている。
比較と遺産
公開当時、Mistral 7BはLLaMA 2 13BやLLaMA 34Bと好意的に比較され、Mistral AIは多くのベンチマークで優れた性能または同等の性能を主張した。これは、効率的な訓練とアーキテクチャの選択により、小規模なモデルでも高い性能を達成できることを示した点で注目に値する。このモデルの成功はMistral AIの急速な成長に貢献し、大規模な資金調達ラウンドや大手テクノロジー企業との提携につながった。2025年時点で、Mistral AIは140億ドル以上の評価額を持ち、欧州で最も価値の高いAI企業となっている。Mistral 7Bは効率的なLLMの分野で依然として基準点であり、その公開はオープンソースAI運動における画期的な出来事と見なされている。