GPT-2（Generative Pretrained Transformer 2）は、OpenAIによって開発され、2019年2月に初めて発表された大規模言語モデルである。Transformer (architecture)アーキテクチャに基づいて構築されたGPT-2は、約800万のウェブページからなるデータセットであるWebTextを用いて、純粋な自己回帰型の次トークン予測目的で訓練され、2018年にリリースされたより小規模なオリジナルのGPTモデルに直接続くものである。
段階的リリース
GPT-2が広く知られるようになったのは、主にそのアーキテクチャではなく、OpenAIによるリリース方法によるものであった。完全なモデルは15億のパラメータを含み、当時の公開言語モデルとしては異例の大きさであり、短いプロンプトから一貫性のある複数段落のテキストを生成し、その流暢さは多くの研究者を驚かせた。OpenAIは、フェイクニュースの生成、スパム、大規模ななりすましなどの悪意のある使用の懸念を挙げ、当初は完全な15億パラメータモデルのリリースを拒否し、潜在的な誤用を研究しながら小規模なバージョンのみを公開した。この決定は、公開上「リリースするには危険すぎる」と表現され、研究コミュニティの一部から大きな批判を招き、過剰に慎重である、マーケティング戦略である、または研究成果を差し控える厄介な前例を作る、と主張された。OpenAIは段階的に方針を転換え、この段階的リリースの研究で、その規模での懸念された誤用の強い証拠が見つからなかったと報告した後、2019年11月に完全な15億パラメータモデルをリリースした。
重要性
GPT-2は、タスク固有のファインチューニングなしに、自然言語での例をプロンプトとして与えられるだけで、要約、翻訳、質問応答を生成し、強いゼロショットタスク性能を示した最初のモデルの一つである。これは、後継のGPT-3で正式に少数ショット学習や文脈内学習として形式化されることになるものの初期の例示であった。その規模は、オリジナルのGPTの約10倍であり、研究者が後にスケーリング則としてより正式に説明することになる、モデルとデータのサイズを増やすことが言語モデリング性能を予測可能に向上させるという初期のデータポイントとしても機能した。
遺産
GPT-2のリリース戦略は、AIガバナンスとAI安全性の議論において広く引用されるケーススタディとなり、後にLlamaや他のオープンウェイトモデルなどのシステムで再浮上した、オープン対クローズドのモデルリリースに関するより持続的な議論の先駆けとなった。OpenAI自身の製品ライン内では、GPT-2のアーキテクチャと訓練アプローチは、翌年に100倍以上のパラメータ数でリリースされたGPT-3の直接の基盤を形成し、最終的には2022年にGPT系譜を主流の注目を集めたChatGPT製品にもつながった。研究者のAlec RadfordとOpenAIの同僚たちが、GPT-2の主な著者として認められている。