xAIは、2023年3月にイーロン・マスクによって設立された人工知能企業であり、「宇宙の真の本質を理解する」という使命を掲げている。同社は大規模言語モデルと生成AIシステムを開発しており、特にGrokシリーズのチャットボットで知られている。2024年には、xAIはAI業界における重要な競争相手として台頭し、更新されたモデルのリリース、多額の投資の確保、計算リソースの急速な拡大を実現した。
同社は、AI分野における認識されたリスクと競争圧力、特にOpenAIやGoogle DeepMindからのそれに対応して設立された。xAIの創設チームには、Deep learning機関であるUniversity of Toronto、Carnegie Mellon University、Stanford AI Labなどの出身の研究者が含まれていた。同社は、厳格な技術開発と独自のAI安全性に関する議論に焦点を当て、モデルの行動における透明性と真実追求をしばしば強調する立場を取った。
Grok-1.5のリリース
2024年3月、xAIは主力のLarge language modelのアップグレード版であるGrok-1.5をリリースした。このモデルは、前身と比較して推論、コーディング、数学的能力において大幅な改善を示した。Grok-1.5は、かなり大規模なデータセットでトレーニングされ、高度なTransformer (architecture)アーキテクチャを採用し、Multi-Head AttentionとPositional Encodingにおける革新を取り入れて、文脈理解を強化した。
このリリースには128,000トークンのコンテキストウィンドウが含まれており、モデルが書籍全体や長い技術文書を一度に処理できるようになった。ベンチマーク結果では、Grok-1.5はコード生成用のhumanEvalや数学的推論用のGSM8Kなどの標準評価において、いくつかの現代のモデルを上回るパフォーマンスを示した。このモデルは、xAIの独自インターフェースを通じて初期テスターに提供され、年内により広範なアクセスが計画された。
Grok-1.5Vとマルチモーダル機能
2024年4月、xAIはGrok-1.5モデルのマルチモーダル拡張版であるGrok-1.5Vを導入した。このバージョンは視覚機能を追加し、モデルが画像、図、文書を処理して推論できるようにした。Grok-1.5Vは、写真に関する質問に答え、チャートを解釈し、画像からテキストを書き起こすことができ、Generative AIにおけるマルチモーダル理解のトレンドに沿ったものだった。
視覚コンポーネントは、Data Augmentation技術と厳選された画像テキストペアの組み合わせを使用してトレーニングされた。xAIは、このモデルがMathVistaやDocVQAなどのベンチマークで競争力のあるスコアを達成したと主張したが、リリース時点での独立した検証は限られていた。マルチモーダル機能により、xAIはすでに主力モデルに視覚を統合していたOpenAIやAnthropicの提供と直接競争する立場に立った。
資金調達と評価額
2024年5月、xAIは約240億ドルの評価額で60億ドルのシリーズB資金調達ラウンドを完了した。このラウンドは著名なベンチャーキャピタル企業が主導し、既存の投資家やAndreessen HorowitzやSequoia Capitalを含む新規の支援者が参加した。この資金は、計算インフラの拡張、トップ人材の採用、研究開発の加速に充てられる予定だった。
この投資は、2023年後半に約75億ドルの評価額で行われた15億ドルのラウンドに続くものだった。評価額の急速な増加は、Generative AIに対する投資家の熱意と、xAIの技術的軌道への信頼を反映していた。2024年半ばまでに、xAIの評価額は最も価値のある民間AI企業の1つに位置づけられたが、全体的な資金調達と市場プレゼンスの点では依然としてOpenAIやAnthropicに及ばなかった。
計算インフラとColossus
xAIの2024年戦略の中心的な要素は、次世代モデルをトレーニングするために設計された大規模なスーパーコンピュータクラスターであるColossusの建設だった。テネシー州メンフィスに位置するColossusは、NVIDIAとBroadcomと協力して建設され、数万の高性能GPUを利用した。この施設は記録的な速さで運用化され、xAIは着工から完全展開まで4か月未満で達成したと主張した。
クラスターの設計は、スループットを最大化するためにModel Pruningと効率的なLearning Rate Scheduling戦略を強調した。xAIはまた、補助的なクラウド容量のためにOracle Cloud InfrastructureやMicrosoft Azureと協力したが、コアトレーニング実行には自社インフラを優先した。ColossusはGrok-3およびその後のモデルのトレーニングをサポートすることを目的としており、xAIは2024年末までに計算能力を10倍に増やすことを目標としていた。
Grok-2と消費者向け統合
2024年8月、xAIは画像生成機能と改善された会話能力を導入した主要なアップグレードであるGrok-2をリリースした。Grok-2はXプラットフォーム（旧Twitter）に統合され、プレミアム購読者がチャットインターフェースから直接画像を生成できるようにした。このモデルはまた、新しいAPIを強化し、サードパーティの開発者がxAIの技術上にアプリケーションを構築できるようにした。
Grok-2の画像生成機能は、競合他社と比較して比較的寛容なコンテンツポリシーで注目を集め、Artificial intelligenceの安全性とモデレーションに関する議論を引き起こした。このモデルのリリースは、以前はXプレミアムユーザーに限定されていたxAIの消費者向けチャットボットの拡大と同時期に行われた。2024年後半までに、xAIはプラットフォーム全体で数百万のアクティブユーザーを報告したが、正確な数字は公に開示されなかった。
Grok-3と技術的進歩
2024年後半、xAIはこれまでで最も野心的なモデルであるGrok-3のトレーニングを開始した。トレーニング実行はColossusの全容量を活用し、新しいNeural networkアーキテクチャとReinforcement learning技術を組み込んだ。DeepMindやOpenAIのベテランを含むxAIの研究チームは、推論の一貫性の向上と幻覚率の低減に焦点を当てた。
技術的革新には、Mixture of experts層の使用が含まれており、これによりモデルは各トークンに対して関連するパラメータのみをアクティブ化し、容量を犠牲にすることなく効率を向上させた。xAIはまた、問題解決能力を強化するためにChain-of-thoughtプロンプティングと自己一貫性の方法を実験した。Grok-3は2024年末までに完全にはリリースされなかったが、初期のベンチマークではOpenAIやGoogle DeepMindの主要モデルと競争力があることが示唆された。
競争環境と市場ポジション
2024年を通じて、xAIはLarge language model分野でOpenAIやAnthropicへの直接的な挑戦者としての地位を確立した。同社は、Xプラットフォームとの統合を通じて差別化を図り、これにより大規模なユーザーベースとトレーニングおよび評価のためのリアルタイムデータを提供した。xAIはまた、コンテンツ生成に対する制限の少ないアプローチを強調し、ガードレールが少ないことを好むユーザーにアピールした。
しかし、xAIは課題にも直面した。競合他社と比較してチームが比較的小さいことや、急速なインフラ構築の持続可能性に関する疑問などである。同社はまた、特に欧州連合におけるデータプライバシーとAI透明性に関する規制上の監視を乗り越える必要があった。これらのハードルにもかかわらず、xAIの2024年の軌道は、Generative AIにおける主要プレーヤーとしての地位を確立し、重要な財務的支援と将来の開発の明確なロードマップを備えていた。
パートナーシップとエコシステム
xAIは2024年にエコシステムを強化するためにいくつかの戦略的パートナーシップを締結した。NVIDIAとの協力により最先端のハードウェアへの優先アクセスが確保され、Dell Technologiesとの契約によりColossusのサーバー製造がサポートされた。xAIはまた、APIと消費者向け製品のコンテンツ配信を最適化するためにcloudflareと協力した。
研究面では、xAIはMIT CSAILやBAIR (Berkeley AI Research)を含む学術機関と関わり、解釈可能性と整合性を探求した。同社はトレーニング方法論を詳述したいくつかの技術論文を発表し、より広範なMachine learningコミュニティに貢献した。これらの取り組みは、信頼性を構築し、トップクラスの研究者を組織に引き付けることを目的としていた。
2025年以降の見通し
2024年後半の時点で、xAIは継続的な拡大の準備が整っており、従業員数を倍増し、Colossusを追加サイトに拡張する計画があった。同社は2025年初頭にGrok-3をリリースする可能性を示唆しており、多段階のタスクを自律的に実行できる高度なエージェント機能を備える可能性がある。xAIはまた、Teslaを含むマスクの他のベンチャーとの相乗効果を活用して、Roboticsや自動運転におけるアプリケーションを探求した。
より広範なAI業界はxAIを注視しており、その急速な台頭は競争力学の変化を示唆していた。多額の資金、積極的なインフラ投資、独自の製品哲学により、xAIは進化するArtificial intelligenceの景観において永続的な地位を切り開くことを目指した。その勢いを維持できるかどうかは未解決の疑問であったが、2024年の成果は、新規参入者がこの分野で達成できることへの期待をすでに再形成していた。