GPT-4は、OpenAIによって開発された大規模言語モデルであり、GPT基盤モデルシリーズの4番目にあたる。2023年3月14日にリリースされ、GPT-3.5の後継として登場し、その後GPT-5が続いた。前身モデルとは異なり、GPT-4はマルチモーダルであり、テキストと画像の両方を入力として処理できる。OpenAIは、競争上および安全性上の懸念を理由に、モデルの規模、アーキテクチャ、トレーニングハードウェアなどの技術的詳細を公開していない。初期バージョンは2023年2月にMicrosoftのBing Chatに統合され、GPT-4は2023年3月から2025年に削除されるまでChatGPTで利用可能だった。現在もOpenAIのAPIを通じてアクセスできる。
背景
OpenAIは2018年に、Transformer (architecture)アーキテクチャに基づき、大量の書籍コーパスでトレーニングされた最初のGPTモデルを導入した。2019年にはGPT-2が続き、大規模な一貫性のあるテキストを生成した。2020年には、GPT-2の100倍以上のパラメータを持つGPT-3がリリースされ、その改良によりGPT-3.5が生まれ、ChatGPTチャットボットを支えた。GPT-4はこの系譜を引き継ぎ、マルチモーダル機能と多くのベンチマークでの性能向上を追加した。
機能
デフォルトのGPT-4バージョンは8Kのコンテキストウィンドウを持ち、特別なAPIバリアントでは最大32Kトークンに対応する。マルチモーダルモデルとして、画像入力を受け付けることができ、ユーザーは写真をアップロードして分析や提案を受けることができる。GPT-4はまた、外部インターフェースと対話することもでき、例えば、特定のタグでクエリを囲むことでウェブ検索を実行し、ウェブページのアクセスや要約、APIの使用、画像生成が可能である。2023年のNature誌の記事では、プログラマーがGPT-4をコード支援に有用と感じていることが指摘されており、エラーの特定や最適化の提案などが挙げられる一方、誤りを犯す傾向もある。セキュリティテストでは、GPT-4はSQLインジェクションに対して脆弱なコードを5%のシナリオで生成し、2021年のGitHub Copilotの40%と比較された。2023年11月には、OpenAIが128Kのコンテキストウィンドウと低価格を備えたGPT-4 Turboを発表した。
標準テストでの適性
研究では、標準テストをチャットボットで実行することの信頼性が疑問視されている。トーランス創造的思考テストでは、GPT-4は独創性と流暢性で上位1%に入り、柔軟性スコアは93パーセンタイルから99パーセンタイルの範囲だった。
医療応用
Microsoftの研究者は、GPT-4が特別なプロンプトなしでUSMLEの合格点を20ポイント以上上回り、GPT-3.5やMed-PaLMなどの医療特化モデルを上回ることを発見した。しかし、不正確な推奨や幻覚を含む重大なリスクがあると警告した。2023年4月には、MicrosoftとEpic Systemsが、患者の問い合わせや医療記録分析のためにGPT-4を搭載したシステムを医療提供者に提供する計画を発表した。
GPT-4o
2024年5月13日、OpenAIはGPT-4o（「o」は「omni」を意味する）を導入した。これは、テキスト、音声、画像のモダリティをリアルタイムで処理および生成する後継モデルである。人間の会話に匹敵する応答時間、非英語言語の性能向上、強化された視覚および音声理解を提供する。GPT-4oは、GPT-4とは異なり、無料層のユーザーにも利用可能だった。
制限事項
GPT-4は、前身モデルと同様に、トレーニングデータやユーザープロンプトと矛盾する出力を生成する幻覚を起こす可能性がある。また、意思決定における透明性が欠けており、説明は事後的に形成され、以前の記述と矛盾することがある。2023年には、ConceptARCベンチマークを使用したテストで、GPT-4は抽象推論タスクで33%未満のスコアを示し、特化モデルは約60%、人間は少なくとも91%を達成した。研究者は、このテストが視覚的でありGPT-4が言語モデルであるため、抽象推論の欠如を示すものではない可能性があると指摘した。
バイアス
GPT-4は2段階でトレーニングされた。第一段階では、大規模なインターネットテキストデータセットで次のトークンを予測し、第二段階では、人間のフィードバックからの強化学習を使用して安全性ガイドラインに整合させた。Microsoftの研究者は、GPT-4が確証バイアス、アンカリング、基本率無視などの認知バイアスを示す可能性があると示唆した。
トレーニング
OpenAIは、モデルサイズ、アーキテクチャ、ハードウェア、ハイパーパラメータを含むGPT-4のトレーニングに関する技術的詳細を公開していない。技術レポートでは、教師あり学習と人間およびAIフィードバックを用いた強化学習の組み合わせが説明されたが、具体的な内容は省略された。Sam Altmanは、トレーニングコストが1億ドルを超えたと述べた。レポートでは、情報を控える理由として、競争環境と安全性への影響を挙げた。