PaLM 2（Pathways Language Model 2）は、Google AIが開発した大規模言語モデルであり、2023年5月の年次Google I/O基調講演で発表された。これは元のPaLMモデルの更新版であり、報告によると3400億のパラメータを持ち、3.6兆トークンで訓練されている。PaLM 2は、常識推論、算術推論、コード生成、翻訳など、幅広いタスクで優れた性能を発揮するように設計されており、特に多言語スキルの向上に重点が置かれている。
元のPaLMモデルは2022年4月に導入され、5400億パラメータの高密度デコーダーのみのトランスフォーマーベースの大規模言語モデルであった。研究者はまた、モデル規模の影響を研究するために、80億および620億パラメータの小規模バージョンも訓練した。PaLM 2はこの基盤の上に構築され、強化された性能とより広範な言語カバレッジを提供する。
アーキテクチャと訓練
PaLM 2は、その前身と同様に、高密度デコーダーのみのトランスフォーマーモデルである。これは、フィルタリングされたウェブページ、書籍、Wikipedia記事、ニュース記事、GitHub上のオープンソースリポジトリからのソースコード、およびソーシャルメディアの会話を含む、7800億トークンの高品質なコーパスで事前訓練されている。このデータセットは、GoogleのLaMDAモデルの訓練に使用されたものに基づいており、ソーシャルメディアの会話がコーパスの50%を占め、会話能力を強化している。
元のPaLM 540Bは、それぞれ768ホストに接続された3,072個のTPU v4チップを持つ2つのTPU v4 Podで訓練され、モデル並列性とデータ並列性の組み合わせを使用した。この構成は合計6,144チップであり、記録的なハードウェアFLOPs利用率57.8%を達成し、その規模での大規模言語モデルの最高の訓練効率を示した。
能力とバリエーション
PaLM 2は、常識推論、算術推論、ジョークの説明、コード生成、翻訳など、幅広いタスクを実行できる。チェーン・オブ・ソートのプロンプティングと組み合わせると、単語問題や論理ベースの質問など、多段階の推論を必要とするデータセットで大幅に優れた性能を発揮する。
GoogleとDeepMindは、医療データで微調整されたPaLM 540BのバージョンであるMed-PaLMを開発し、医療質問応答ベンチマークで以前のモデルを上回る性能を示した。Med-PaLMは、米国の医療免許試験問題で合格点を取得した最初のモデルであり、正確な回答に加えて推論と自己評価を提供する。
Googleはまた、視覚トランスフォーマーを使用してPaLMを拡張し、再訓練や微調整を必要とせずにロボット操作のための視覚言語モデルであるPaLM-Eを作成した。2023年6月、Googleは音声間翻訳用のAudioPaLMを発表し、これはPaLM-2アーキテクチャと初期化を使用している。
リリースとアクセス
元のPaLMは、2023年3月にGoogleがPaLMおよび他のいくつかの技術のAPIを開始するまで非公開のままであった。このAPIは当初、公開リリース前にウェイトリストに参加した限られた数の開発者に利用可能であった。PaLM 2は2023年5月に発表され、さまざまなGoogle製品およびサービスに統合される予定である。
影響と遺産
PaLM 2は、特に多言語理解と推論において、大規模言語モデルの重要な進歩を表している。その開発は、人工知能および機械学習の分野における継続的な取り組みと一致しており、生成AIのより広範な状況に貢献している。PaLM 2はLaMDAの後継者であり、Geminiの前身と見なされており、この領域におけるGoogleの継続的な革新を反映している。