GPT-4は、OpenAIによって開発され、2023年3月14日にGPT-3の後継としてリリースされた大規模なマルチモーダルな大規模言語モデルであり、アップグレード版のChatGPTを支える基盤モデルである。前身モデルとは異なり、GPT-4はテキストと画像の両方の入力を受け付けるが、当初のリリースでは出力はテキストのみであり、OpenAIは、模擬司法試験に合格するなど、幅広い専門的・学術的なベンチマークにおいて大幅に改善された性能を報告し、そのパーセンタイルを人間の受験者と好意的に比較した。
秘密性と技術的開示
GPT-4のリリースは、OpenAIの公開慣行における顕著な変化を示した。以前のGPT論文がアーキテクチャとトレーニングデータを詳述していたのに対し、OpenAIのGPT-4技術報告書は、モデルサイズ、アーキテクチャの詳細、トレーニング計算量、データセット構成に関する情報を一切開示せず、競争上および安全性上の考慮を理由に挙げた。このOpenAIの従来の公開性の規範からの逸脱は、研究コミュニティの一部から批判を招き、この分野を特徴づけてきた科学的再現性を損なうと主張され、フロンティアモデルの開発者間の透明性をめぐる広範な議論において頻繁に引用される例となった。
AGIの兆し
リリース直後、マイクロソフトの研究者グループは「Sparks of Artificial General Intelligence」という論文を発表し、GPT-4のコーディング、数学、医学、法律、その他の領域にわたる能力を検証し、このモデルが狭いパターンマッチングを超えた初期の汎用的な問題解決能力を示し、人工知能全般との関連で合理的に議論できると主張した。この論文は、公的および研究上の議論を変える上で影響力を持ったが、厳密なベンチマークではなく、逸話的で非体系的な評価に依存しているとして方法論的な批判も受けた。
トレーニングと安全性
GPT-4は、大規模な事前トレーニングとそれに続くRLHFを用いて、その出力を人間の好みに合わせて調整し、リリース前に外部研究者と実施した広範なレッドチーミングも行っており、これは業界全体のレッドチーミングおよびガードレール作業に関連する実践の適用である。OpenAIは後にGPT-4 Turboやその他の反復的なアップデートをリリースし、コンテキスト長を拡張してコストを削減し、有料のChatGPT層のデフォルトモデルとしてGPT-4を提供し、継続的なサブスクリプション収益の成長に貢献した。
影響
GPT-4のリリースは、AI業界全体の競争圧力を激化させ、Google DeepMind、Anthropic、その他の研究所からのリリースを加速させ、フロンティア言語モデルの開発が学術的な研究文化から大規模で資本集約的な商業競争へと決定的に移行した時点として頻繁に引用され、この時期は広範なAIブームの一部と呼ばれることもある。OpenAIは後に、GPT-4クラスのベースモデル上に構築された、推論に焦点を当てた別の後継シリーズとして、2024年にOpenAI o1をリリースした。