PaLM 2は、Googleによって開発され、2023年5月の年次Google I/O基調講演で発表された大規模言語モデル（LLM）である。これは、Google AIによって開発された5,400億パラメータの高密度デコーダーのみのトランスフォーマーベースのLLMであるPathways Language Model（PaLM）の後継である。PaLM 2は、3.6兆トークンで訓練された3,400億パラメータのモデルであると報告されており、前身と比較して規模と能力において大幅な進歩を表している。
このモデルは、現代のDeep learningシステムの基盤となるトランスフォーマーアーキテクチャに基づいて、Generative AIおよびLarge language model研究におけるGoogleの広範な取り組みの一部である。PaLM 2はGoogle DeepMindと並行して開発され、GoogleのAI研究部門の統合を反映している。
アーキテクチャと能力
PaLM 2は、前身によって確立されたデコーダーのみのトランスフォーマーデザインに従い、Multi-Head AttentionメカニズムとPositional Encodingを利用してシーケンシャルデータを処理する。このモデルは、常識推論、算術推論、ジョークの説明、コード生成、翻訳など、幅広いタスクが可能である。チェーン・オブ・ソートのプロンプトと組み合わせると、PaLM 2は、文章問題や論理ベースの質問など、多段階の推論を必要とするデータセットで大幅に優れたパフォーマンスを達成する。
元のPaLMに使用された7,800億トークンから大幅に増加した3.6兆トークンでのモデルの訓練は、多様なドメインにわたる強化されたパフォーマンスを可能にする。この訓練コーパスには、フィルタリングされたウェブページ、書籍、Wikipediaの記事、ニュース記事、オープンソースリポジトリからのソースコード、ソーシャルメディアの会話が含まれており、ソーシャルメディア部分はコーパスの50%を占めて会話能力をサポートしている。
訓練インフラストラクチャ
元のPaLM 540Bは、2つのTPU v4 Podで訓練され、各Podには768ホストに接続された3,072個のTPU v4チップがあり、モデル並列性とデータ並列性の組み合わせを使用して接続されていた。この構成は、合計6,144チップを使用し、ハードウェアFLOPs利用率57.8%で、その規模のLLMで達成された最高の訓練効率の記録をマークした。PaLM 2の訓練インフラストラクチャは同様の原則に従うが、そのハードウェア構成に関する具体的な詳細は完全には開示されていない。
関連モデルとアプリケーション
Googleは、PaLMアーキテクチャを拡張して、いくつかの専門化されたバリアントを作成した。医療データで微調整されたバージョンであるMed-PaLMは、医療質問応答ベンチマークで以前のモデルを上回り、米国の医療免許試験問題で合格点を取得した最初のモデルである。これは、推論を提供し、複数選択および自由回答の質問に正確に答えることに加えて、自身の応答を評価することができる。
ビジョントランスフォーマーを使用する別の拡張であるPaLM-Eは、再訓練や微調整を必要とせずにロボット操作のためのビジョン言語モデルとして機能する。2023年6月、Googleは、PaLM-2アーキテクチャと初期化を使用する音声間翻訳用のAudioPaLMを発表した。
可用性と影響
元のPaLMは2022年4月に最初に発表され、2023年3月まで非公開のままであり、その時点でGoogleは当初ウェイトリストを通じて限られた数の開発者に利用可能なAPIを開始した。2023年5月のGoogle I/OでのPaLM 2の発表は、OpenAIやAnthropicなどの他の主要プレーヤーと並んで、急速に進化するArtificial intelligenceの状況で競争するというGoogleのコミットメントを示した。このモデルの能力は、Google Cloudサービスおよびより広範なエンタープライズアプリケーションに影響を与え、高度なMachine learningシステムの開発における重要な力としてGoogleを位置付けている。