GPT-3.5は、OpenAIによって開発された大規模言語モデルであり、GPT-3の改良版として2022年に公開された。これはデコーダーのみのトランスフォーマーアーキテクチャを採用し、前身と同じ深層学習の原理に基づきつつ、指示追従、事実の正確性、会話の一貫性において改善が図られている。GPT-3.5は、2022年11月に公開されたChatGPTの最初の公開版のエンジンとして機能し、その時代で最も広く使用された生成AIシステムの1つとなった。
このモデルは、2018年のGPT-1から始まり、2019年のGPT-2、2020年のGPT-3へと続くOpenAIのGPTシリーズの一部であった。GPT-3.5は、GPT-3と後のGPT-4の間の中間段階を表し、OpenAIのInstructGPT研究から得た技術を取り入れて、出力をユーザーの意図に合わせるように調整した。GPT-3がしばしば慎重なプロンプトエンジニアリングを必要としたのに対し、GPT-3.5は直接的な指示に対してより自然に応答するように設計され、チャットボットのような対話型アプリケーションに適していた。
開発と公開
OpenAIは、2022年初頭に一連のモデルバージョンを通じてGPT-3.5を導入し、最初の公開API利用は2022年3月に開始された。「GPT-3.5」という名称は、code-davinci-002やtext-davinci-003を含むモデル群を指すために使用され、それぞれ異なるタスクに最適化されていた。最も注目すべき公開は、2022年11月30日に開始されたChatGPTインターフェースであり、対話用に微調整されたGPT-3.5モデルを使用していた。この公開は、人工知能に対する一般の認識における転換点を示し、ChatGPTは2か月以内に1億人以上のユーザーに達した。
GPT-3.5の開発は、1750億のパラメータを持ち、16ビット精度で350GBのストレージを必要としたGPT-3と同じトレーニングインフラストラクチャを利用した。GPT-3.5の正確なパラメータ数は公表されていないが、規模は同程度であると広く理解されており、改善は生のサイズではなく、トレーニングデータのキュレーション、微調整、アライメントに焦点を当てていた。OpenAIは、教師あり微調整と人間のフィードバックからの強化学習の組み合わせを使用してモデルの動作を改善した。この技術は、2022年初頭に公開されたInstructGPT論文で初めて詳述された。
能力と性能
GPT-3.5は、テキスト生成、要約、翻訳、質問応答、コード作成において強力な能力を示した。一部のバージョンでは、最大4,096トークンのコンテキストウィンドウを処理でき、GPT-3の2,048トークンの2倍であり、より長い入力を処理できた。このモデルは、プロンプト内の少数の例だけで新しいタスクを実行できる少数ショット学習に優れ、GPT-3と比較してゼロショット指示追従において顕著な改善を示した。
ベンチマークでは、GPT-3.5は、SuperGLUEスイートやさまざまなコーディング課題を含む、いくつかの自然言語理解および生成タスクでGPT-3を上回った。また、一貫性のあるマルチターン会話を生成する能力もあり、チャットボットアプリケーションに特に適していた。しかし、時折の事実誤認、プロンプトの言い回しへの敏感さ、もっともらしいが不正確な情報を生成する傾向など、限界も依然として存在し、OpenAIはこれらの問題を認識し、後のバージョンで軽減するよう取り組んだ。
応用と影響
GPT-3.5に基づくChatGPTの公開は、テクノロジー業界と機械学習に関する公の議論に大きな影響を与えた。これは生成AIスタートアップへの投資の波を促し、Google DeepMind、Anthropicなどの大手企業に自社の大規模言語モデルへの取り組みを加速させた。GPT-3.5は、マイクロソフトのAzure OpenAI Serviceを含む幅広い製品に統合され、クラウドインフラストラクチャを通じて企業顧客にモデルを提供した。
チャットボット以外にも、GPT-3.5はコンテンツ生成、コード支援、教育ツール、カスタマーサポートの自動化に使用された。人間らしいテキストを生成する能力は機会と懸念の両方を生み出し、誤情報、雇用の喪失、AIの倫理的使用に関する議論につながった。OpenAIは、これらのリスクの一部に対処するためにコンテンツモデレーションツールと利用ポリシーを実装したが、モデルの広範な利用可能性は、AI開発における規制と透明性の要求も引き起こした。
技術的アーキテクチャ
GPT-3.5は、GPT-3のコアアーキテクチャを維持しており、これはトランスフォーマーベースのニューラルネットワークで、多層デコーダースタックを備えている。マルチヘッドアテンションメカニズムを使用して入力内の異なる単語の関連性を重み付けし、テキスト内の長距離依存関係を捉えることを可能にしている。モデルは、フィルタリングされたCommon Crawlデータ、書籍、Wikipediaを含む多様なインターネットテキストコーパスで、次のトークン予測目的を使用して事前トレーニングされた。指示追従のための微調整には、人間が書いたデモンストレーションと比較に関する追加トレーニングが含まれ、モデルの出力をユーザーの期待に合わせるプロセスであった。
GPT-3.5の注目すべき技術的改善の1つは、より洗練されたトレーニングデータのフィルタリングと重複排除の使用であり、低品質または反復的なテキストの存在を減らした。これは、GPT-3と比較してより一貫性があり、バイアスの少ない出力に貢献した。モデルはまた、学習率スケジュールと勾配クリッピング技術の進歩からも恩恵を受けたが、具体的なトレーニングの詳細はOpenAIによって完全には開示されなかった。
遺産と後継モデル
GPT-3.5は、研究指向のGPT-3と、OpenAIが2023年3月に公開したより高度なGPT-4の間の橋渡しとして機能した。GPT-4は推論と正確性において大幅な改善を提供したが、GPT-3.5は、計算コストが低く応答時間が速いため、多くのアプリケーションで使用され続けた。OpenAIはGPT-3.5モデルの更新を続け、gpt-3.5-turboのようなバージョンは、性能と効率のバランスを求める開発者にとって人気のある選択肢となった。
GPT-3.5の成功は、より広範なAIエコシステムにも影響を与え、モデルのアライメント、安全性、解釈可能性に関する研究を促進した。これは、タスク固有のトレーニングなしで多種多様なタスクを実行できる大規模言語モデルの可能性を強調し、この概念は初期のモデルで探求されていたが、大規模に実用的になった。2024年現在、GPT-3.5はOpenAIのAPIを通じて引き続き利用可能であるが、多くのユースケースで新しいモデルに徐々に取って代わられつつある。