Generative Pre-trained Transformer 2（GPT-2）は、大規模言語モデルであり、OpenAIによって開発された、GPTモデルの基盤シリーズにおける2番目のモデルである。これは800万のウェブページからなるデータセットで事前学習され、2019年2月に部分的に公開され、その後2019年11月5日に15億パラメータの完全版がリリースされた。GPT-2は、前身であるGPT-1の直接的なスケールアップとして作成され、パラメータ数とトレーニングデータセットのサイズの両方が10倍に増加した。これは汎用学習器であり、その多様なタスクを実行する能力は、シーケンス内の次の項目を正確に予測する一般的な能力の結果であり、テキストの翻訳、質問への回答、文章の要約、そして時には人間の文章と区別がつかないテキスト出力の生成を可能にしたが、長い文章では繰り返しや無意味な出力になることもあった。
GPT-2は、その前身や後継と同様に、生成的で事前学習されたトランスフォーマーアーキテクチャを使用し、古いリカレントや畳み込みベースのアーキテクチャではなく、アテンションメカニズムに依存する深層ニューラルネットワークを実装している。これにより、モデルは関連する入力セグメントに選択的に焦点を当てることができ、並列化が大幅に向上し、RNN/CNN/LSTMベースのモデルに対する以前のベンチマークを上回った。これはGPT-3とGPT-4によって取って代わられ、これらはもはやオープンソースではない。
トレーニング
トランスフォーマーアーキテクチャが大規模な並列化を可能にしたため、GPTモデルは以前の自然言語処理モデルよりも大きなコーパスでトレーニングできた。GPT-1がこのアプローチの実現可能性を示した一方で、GPT-2は非常に大きなコーパスでトレーニングされたネットワークの創発的特性を探求した。大規模なウェブクロールコーパスであるCommonCrawlは検討されたが、理解不能なコンテンツが大量に含まれるため却下された。代わりに、OpenAIはWebTextと呼ばれる新しいコーパスを開発し、2017年12月以前に少なくとも3カルマを受け取ったReddit投稿にリンクされたページのみをスクレイピングして生成した。コーパスは、HTMLをプレーンテキストに解析し、重複ページを排除し、過学習を避けるためにWikipediaページを削除することでクリーンアップされた。
トレーニングコストに関する文書は限られている。Andrej Karpathyの声明によると、GPT-2は32個のTPU v3チップで168時間（7日間）トレーニングされ、TPU v3あたり1時間約8ドルで、合計約43,000ドルの計算コストがかかった。他の情報源は、トレーニングコストが1時間あたり約256ドルであるとしている。BERTやXLNetなどの同等モデルは、それぞれ6,912ドルと245,000ドルのリソースを消費した。
リリース
GPT-2は2019年2月14日に初めて発表された。The VergeのJames Vincentによる2019年2月の記事では、その生成する文章は通常、非人間であると簡単に識別できるが、言語生成プログラムの最もエキサイティングな例の1つであると指摘された。The Guardianはその出力をもっともらしい新聞散文と表現し、VoxのKelsey Piperは、これまで見た中で最もクールなAIシステムの1つであると述べた。The Vergeは、テキストの翻訳、記事の要約、雑学クイズへの回答におけるその柔軟性を強調した。GPT-2シリーズには4つのモデルが含まれており、論文で報告されたが、これらは一度に公開されず、段階的に公開された。
制限と部分的な公開
以前のOpenAIモデルとは異なり、OpenAIは当初、悪意のある使用のリスクを理由に、GPT-2のソースコードの公開リリースを拒否した。限定的なアクセスは選ばれた報道機関に許可された。1つの正当化理由は、生成されたテキストがスパマーによってフィルターを回避するために使用される可能性があることであり、OpenAIは無限の肯定的または否定的な製品レビューを生成するように微調整されたバージョンを実証した。もう1つの正当化理由は、わいせつまたは人種差別的なテキストを生成する可能性であった。Jeremy Howardなどの研究者は、この技術がソーシャルメディアをもっともらしい散文で満たす可能性があると警告し、Allen Institute for Artificial Intelligenceは、ニュースの偽物を検出するツールを発表した。
意見は分かれた。The Vergeの2019年2月の記事は、脅威が誇張されていると主張した。Caltechの教授でありNvidiaの機械学習研究ディレクターであるAnima Anandkumarは、GPT-2が説明された脅威をもたらすという証拠はなく、拒否はオープンの反対であると特徴付けた。The Gradientは、公開リリースを求める公開書簡を発表し、その脅威を印刷機のそれと比較し、Photoshopを、混沌の可能性にもかかわらず社会を破壊しなかった技術の例として挙げた。
774Mリリース
OpenAIは完全にトレーニングされたモデルやコーパスを公開しなかったが、方法の説明と基盤となる技術の自由な利用可能性により、他者による複製が可能になった。複製の1つであるOpenGPT-2は、2019年8月に、OpenWebTextと呼ばれる自由にライセンスされたWebTextのバージョンとともに公開され、クラウド計算コストは約50,000ドルであった。2019年8月20日、OpenAIは完全なモデルの約半分のサイズである7億7400万パラメータのGPT-2の部分版を公開し、その後2019年11月5日に完全な15億パラメータのリリースが続いた。
影響と遺産
GPT-2の段階的な公開は、人工知能コミュニティにおけるAI安全性とオープン性に関する議論を引き起こした。これは、大規模な深層学習モデルが明示的なトレーニングなしで複数のタスクを実行できることを実証し、その後の生成AI研究に影響を与えた。モデルのアーキテクチャとトレーニングアプローチは、GPT-3以降を含むその後の開発の基盤となり、その公開戦略は、OpenAIやAnthropic、Google DeepMindなどの他の組織が強力な言語モデルの展開を扱う方法の先例を設定した。GPT-2はまた、悪用の可能性を浮き彫りにし、検出ツールの開発と責任あるAI公開に関する議論につながった。
技術的な詳細
GPT-2モデルは、マルチヘッドアテンションと位置エンコーディングを備えたデコーダーのみのトランスフォーマーアーキテクチャを使用する。これは、学習率スケジュールと勾配クリッピングを備えたAdamオプティマイザーを使用してトレーニングされた。モデルサイズは1億1700万から15億パラメータの範囲であり、最大のバージョンは48層と1600次元の埋め込みを使用する。推論中、GPT-2はtop-kサンプリングと温度スケーリングを使用して多様なテキストを生成する。そのトレーニングデータであるWebTextは、無差別なウェブスクレイピングのノイズを避け、Redditからの高品質で人間がキュレーションしたリンクに焦点を当てるように設計された。
評価と批判
初期の評価は賛否両論であり、その技術的成果への賞賛と、制限された公開への批判があった。一部の研究者は安全性の懸念が誇張されていると主張し、他の研究者は慎重なアプローチを支持した。最小限のプロンプトから一貫性のあるテキストを生成するモデルの能力は、機械学習における重要な前進と見なされたが、長い出力での繰り返しなどの限界も指摘された。GPT-2の公開は、その後のオープンソースの取り組みとAIガバナンスに関する政策議論に影響を与え、人工知能倫理のより広い分野に貢献した。