GPT-4は、OpenAIによって開発された大規模言語モデルであり、2023年3月14日に、同社のGenerative pre-trained transformerシリーズの4番目のモデルとして公開された。その前身モデルとは異なり、GPT-4はマルチモーダルモデルであり、画像とテキストの両方の入力を受け付け、書かれた言語とともに視覚情報を処理することができる。この能力は、人工知能研究における重要なマイルストーンを示すものであり、大規模言語モデルの潜在的な応用範囲をテキストのみの相互作用を超えて拡大した。GPT-4はGPT-3.5の後継であり、GPT-5の前身である。また、ChatGPTや、その後にはOpenAI APIに統合され、画像処理専用に設計されたGPT-4Vというバージョンも存在する。
OpenAIは、GPT-4の正確なモデルサイズ、アーキテクチャ、トレーニングハードウェアなどの技術的詳細を公に開示していない。技術レポートは、競争上および安全性上の考慮事項を理由に、これらのパラメータの明記を明示的に控えた。この透明性の欠如は、より多くの情報が利用可能だったGPT-3のような初期のモデルとは対照的であった。それにもかかわらず、GPT-4の能力は、標準化テストや医学的質問応答を含む、さまざまなベンチマークや実世界のアプリケーションを通じて実証された。
背景
OpenAIは、2018年にTransformer (architecture)アーキテクチャに基づく最初のGPTモデル（GPT-1）を導入し、大量の書籍コーパスでトレーニングした。翌年には、より大規模で一貫性のあるテキストを生成できるモデルであるGPT-2がリリースされた。2020年には、GPT-2の100倍以上のパラメータを持つGPT-3が登場し、この分野をさらに前進させた。GPT-3はGPT-3.5へと改良され、2022年11月にローンチされたチャットボット製品ChatGPTを支えた。ChatGPTの成功は、大規模言語モデルの可能性を浮き彫りにし、GPT-4の開発の舞台を整えた。
能力
GPT-4のデフォルトバージョンは8Kのコンテキストウィンドウを備えており、特別なAPIバージョンでは最大32Kトークンまでサポートしていた。マルチモーダルモデルとして、画像とテキストを処理でき、ユーザーは写真をアップロードして、視覚コンテンツに基づく提案や回答を受け取ることができた。この能力は、テキストのみの前身モデルからの脱却であり、新たな対話の道を開いた。
GPT-4は、外部インターフェースと対話するようにプロンプトを設定することもできた。例えば、モデルにクエリを<search></search>タグで囲むように指示することでウェブ検索を実行でき、その結果がプロンプトに挿入されて応答に反映された。これにより、GPT-4はAPIの使用、画像生成、ウェブページへのアクセスなど、テキスト予測を超えたタスクを実行できた。
2023年のNature誌の記事では、プログラマーがGPT-4をコーディング支援に有用だと感じている一方で、エラーを起こしやすい傾向もあると指摘された。GPT-4は既存のコードのエラー発見やパフォーマンス最適化の提案に役立つことができた。ある生物物理学者は、MATLABからPythonへのプログラム移植が、以前は数日かかっていたものが、GPT-4の支援により「1時間程度」に短縮されたと報告した。89のセキュリティシナリオのテストでは、GPT-4が生成したコードはSQLインジェクション攻撃に対して5%の確率で脆弱であり、2021年のGitHub Copilotの40%の脆弱性率と比較して大幅に改善された。
2023年11月、OpenAIはGPT-4 TurboとGPT-4 Turbo with Visionを発表し、128Kのコンテキストウィンドウと大幅に低い価格設定を特徴としていた。
標準化テストにおける適性
チャットボットを標準化テストに使用することの信頼性については、研究で議論されている。トーランス創造的思考テストでは、GPT-4は独創性と流暢性で上位1%に入り、柔軟性スコアは93パーセンタイルから99パーセンタイルの範囲であった。
医療応用
Microsoftの研究者は、GPT-4を医学的問題でテストし、専門的なプロンプト作成なしで、USMLEの合格点を20点以上上回り、GPT-3.5のような初期の汎用モデルや、Med-PaLMのような医学知識に特化して微調整されたモデルよりも優れた性能を発揮することを発見した。この強力な性能にもかかわらず、レポートは、不正確な推奨や幻覚による誤った事実など、医療応用における大規模言語モデルの使用には「重大なリスク」があると警告した。2023年4月、MicrosoftとEpic Systemsは、患者の質問への対応や医療記録の分析のために、医療提供者にGPT-4搭載システムを提供する計画を発表した。
GPT-4o
2024年5月13日、OpenAIは、テキスト、音声、画像の各モダリティをリアルタイムで処理および生成するGPT-4の後継モデルであるGPT-4o（「o」は「omni」の略）を発表した。GPT-4oは、人間の会話に匹敵する迅速な応答時間、非英語言語での性能向上、強化された視覚および音声理解を示した。また、GPT-4とは異なり、無料層のユーザーも利用できた。
制限事項
前身モデルと同様に、GPT-4は幻覚を起こすことが知られており、トレーニングデータに含まれない情報や、ユーザーのプロンプトと矛盾する情報を含む出力を生成することがある。この制限は、高い信頼性を必要とするアプリケーションにとって課題となる。
GPT-4はまた、その意思決定プロセスにおける透明性を欠いている。決定の説明を提供することはできるが、これらの説明は事後的に形成されたものであり、実際のプロセスを反映しているかどうかを検証することは不可能である。多くの場合、論理を説明するよう求められると、GPT-4は以前の記述と直接矛盾する説明を与える。
2023年、研究者はGPT-4を抽象推論を測定するためのベンチマークであるConceptARCでテストし、すべてのカテゴリで33%未満のスコアであった一方、専門モデルはほとんどのカテゴリで60%、人間はすべてのカテゴリで少なくとも91%を獲得したことを発見した。この研究に関与していなかったSam Bowmanは、テストが視覚的である一方でGPT-4は言語モデルであるため、結果は抽象推論の欠如を示していない可能性があると示唆した。
バイアス
GPT-4は2段階でトレーニングされた。まず、大規模なインターネットテキストデータセットで次のトークンを予測するようにトレーニングされた。次に、人間のレビュアーが人間のフィードバックからの強化学習を使用してシステムを微調整し、違法行為、自傷行為のアドバイス、露骨なコンテンツの要求など、OpenAIの定義する有害な行動に反するプロンプトを拒否するようにトレーニングした。Microsoftの研究者は、GPT-4が確証バイアス、アンカリング、基準率の無視などの認知バイアスを示す可能性があると示唆した。
トレーニング
OpenAIはGPT-4のトレーニングに関する技術的詳細を公開しなかった。技術レポートは、モデルサイズ、アーキテクチャ、使用ハードウェアの明記を控えた。大規模データセットでの教師あり学習と、それに続く人間およびAIフィードバックによる強化学習を用いたトレーニングについて説明したが、データセットの構築、計算能力、ハイパーパラメータに関する詳細は省略された。レポートは、この決定の理由として「大規模モデルの競争環境と安全性への影響」を挙げた。
Sam Altmanは、GPT-4のトレーニングコストが1億ドル以上であったと述べた。この多額の投資は、モデルの規模と開発に必要なリソースを反映していた。
評価と影響
GPT-4のリリースは、AIコミュニティやその周辺で大きな関心を集め、生成AIの急速な進歩を浮き彫りにした。そのマルチモーダル能力は新たな標準を打ち立て、GPT-4oやGoogleのGeminiなどの後続モデルに影響を与えた。2023年2月にGPT-4がMicrosoftのBing Chatに統合されたことは、検索および対話型AIにおける実用的な応用を示した。
GPT-4の標準化テストやUSMLEなどの専門試験での性能は、教育や医療におけるAIの可能性についての議論を引き起こした。しかし、バイアス、幻覚、透明性に関する懸念は続き、より責任あるAI開発を求める声が上がった。
遺産
GPT-4は2023年3月にChatGPTでリリースされ、2025年まで利用可能であり、その後削除された。また、2026年10月23日にOpenAI APIからも削除された。その後継であるGPT-5は、GPTシリーズの進化を継続した。GPT-4によるマルチモーダル入力処理の導入は、AIにおける極めて重要な瞬間を示し、大規模言語モデルがテキストを超えて視覚情報を理解し推論できることを実証し、より多用途で統合されたAIシステムへの道を開いた。