GPT-4は、OpenAIによって開発された大規模言語モデルであり、そのGPT基盤モデルシリーズの第4作目にあたる。2023年3月14日に公開され、GPT-3.5の後継として登場し、その後継モデルであるGPT-5へと引き継がれた。前モデルとは異なり、GPT-4はテキストと画像の両方の入力を処理できるマルチモーダルモデルである。OpenAIは、モデルの正確な規模を含む技術的詳細を公開していない。
背景
OpenAIは2018年に最初のGPTモデル（GPT-1）を発表し、「Improving Language Understanding by Generative Pre-Training」と題する論文を公開した。これはTransformerアーキテクチャに基づき、大量の書籍コーパスで訓練された。2019年には、一貫したテキストを生成できるより大規模なモデルであるGPT-2を発表した。2020年には、GPT-2の100倍以上のパラメータを持つモデルであるGPT-3をリリースした。GPT-3はさらにGPT-3.5へと改良され、ChatGPT チャットボットの作成に使用された。
機能
GPT-4は2023年3月14日に公開された。デフォルト版は8Kのコンテキストウィンドウを備え、API内の特別版は最大32Kトークンに対応していた。前モデルとは異なり、GPT-4はマルチモーダルモデルであり、テキストに加えて画像も入力として受け取ることができる。音声によるユーザーとの対話や画像への応答が可能で、写真のアップロードに基づいた提案や回答を提供できる。
GPT-4は、外部インターフェースとの連携を促すプロンプトを与えることができる。例えば、モデルにクエリを<search></search>タグで囲むよう指示してウェブ検索を実行させ、その結果をモデルのプロンプトに挿入して応答を形成させることができる。これにより、APIの使用、画像生成、ウェブページのアクセスと要約など、通常のテキスト予測能力を超えたタスクを実行できる。
2023年のNature誌の記事では、プログラマーがGPT-4をコーディング支援（エラーを起こしやすい傾向があるにもかかわらず）に有用と感じていると述べられている。例えば、既存コードのエラー発見や、パフォーマンス向上のための最適化提案などである。記事では、ある生物物理学者が自身のプログラムをMATLABからPythonに移植するのに要した時間が数日から「1時間程度」に短縮されたと引用している。89のセキュリティシナリオのテストでは、GPT-4が生成したコードはSQLインジェクション攻撃に対して5%の確率で脆弱であり、2021年のGitHub Copilot（40%の確率で脆弱性を生成）よりも改善されていた。
2023年11月、OpenAIはGPT-4 TurboおよびGPT-4 Turbo with Visionモデルを発表した。これらは128Kのコンテキストウィンドウを備え、価格も大幅に引き下げられた。
標準テストにおける適性
チャットボットを標準テストで評価することの信頼性には議論がある。トーランス創造的思考テストでは、GPT-4は独創性と流暢性で上位1%に入り、柔軟性のスコアは93パーセンタイルから99パーセンタイルの範囲であった。
医療応用
Microsoftの研究者らは、GPT-4を医療問題でテストし、「GPT-4は、特別なプロンプト作成なしで、USMLEの合格点を20ポイント以上上回り、以前の汎用モデル（GPT-3.5）や、医療知識に特化して微調整されたモデル（Med-PaLM、Flan-PaLM 540Bのプロンプト調整版）を上回る性能を示した」と報告した。GPT-4のテストでの高い性能にもかかわらず、報告書は医療応用における大規模言語モデルの使用には「重大なリスク」があると警告し、不正確な推奨や重大な事実誤認の幻覚を引き起こす可能性を指摘した。
2023年4月、MicrosoftとEpic Systemsは、患者からの質問への対応や医療記録の分析を支援するGPT-4搭載システムを医療提供者に提供すると発表した。
GPT-4o
2024年5月13日、OpenAIはGPT-4o（「o」は「omni」の意）を発表した。これはGPT-4の後継であり、テキスト、音声、画像の各モダリティをリアルタイムで処理・生成することで大きな進歩を示した。GPT-4oは、会話における人間の反応に匹敵する迅速な応答時間、非英語言語での大幅な性能向上、視覚と音声の理解強化を示した。また、GPT-4とは異なり、無料層のユーザーにも利用可能であった。
制限事項
前モデルと同様に、GPT-4は幻覚を起こすことが知られている。つまり、その出力には訓練データに含まれない情報や、ユーザーのプロンプトと矛盾する情報が含まれる可能性がある。
GPT-4はまた、意思決定プロセスにおける透明性が欠如している。要求された場合、モデルはその決定方法と理由について説明を提供できるが、これらの説明は事後的に形成されたものであり、実際のプロセスを真に反映しているかどうかを検証することは不可能である。多くの場合、論理を説明するよう求められると、GPT-4は以前の記述と直接矛盾する説明を与える。
2023年、研究者らはGPT-4を抽象推論を測定する新しいベンチマークであるConceptARCでテストし、全カテゴリで33%未満のスコアであることを発見した。一方、同様のタスクに特化したモデルはほとんどのカテゴリで60%を獲得し、人間は全カテゴリで少なくとも91%を獲得した。研究に関与していなかったSam Bowman氏は、このテストは視覚的でありGPT-4は言語モデルであるため、結果は必ずしも抽象推論能力の欠如を示すものではないと述べた。
バイアス
GPT-4は2段階で訓練された。まず、インターネットから取得した大規模なテキストデータセットをモデルに与え、そのデータセット内の次のトークン（おおよそ単語に相当）を予測するように訓練された。次に、人間のレビューを使用して、人間のフィードバックからの強化学習と呼ばれるプロセスでシステムを微調整した。これにより、違法行為の実行方法に関する質問、自分自身や他者を傷つける方法のアドバイス、暴力的・性的な内容の描写の要求など、OpenAIの定義する有害な行動に反するプロンプトを拒否するようにモデルが訓練される。
Microsoftの研究者らは、GPT-4が確証バイアス、アンカリング、基準率無視などの認知バイアスを示す可能性があると示唆した。
訓練
OpenAIはGPT-4の技術的詳細を公開しなかった。技術報告書は、モデルサイズ、アーキテクチャ、訓練または推論中に使用されたハードウェアを明示的に明記することを控えた。報告書は、モデルが大規模データセットでの教師あり学習と、人間およびAIのフィードバックを用いた強化学習の組み合わせで訓練されたと述べたが、訓練データセットの構築プロセス、必要な計算能力、学習率、エポック数、オプティマイザなどのハイパーパラメータを含む訓練の詳細は提供しなかった。報告書は、「競争環境と大規模モデルの安全性への影響」がこの決定に影響を与えた要因であると主張した。
Sam Altman氏は、GPT-4の訓練コストが1億ドル以上であると述べた。
評価と影響
GPT-4は、モデルの公式リリース前の2023年2月に開始されたMicrosoftのBing Chatに統合された。このモデルはすぐに多くのアプリケーションやサービスの基盤となり、GPTモデルのさまざまな領域での可能性を示した。
利用可能性
GPT-4は2023年3月にChatGPTで公開され、2025年に削除されるまで利用可能であった。このモデルは2026年10月23日にOpenAI APIから削除された。