PaLM（Pathways Language Model）は、2022年4月にGoogle AIが初めて発表した大規模言語モデルです。これは、5400億のパラメータを持つ、Transformerベースのデコーダーのみの高密度モデルであり、当時のリリース時点で最大級の言語モデルの一つでした。このモデルは、GoogleのPathwaysシステムを用いてトレーニングされ、複数のTPUポッドにわたる効率的なトレーニングを可能にしました。研究者たちはまた、モデル規模が性能に与える影響を研究するために、80億および620億のパラメータを持つ小規模なバージョンもトレーニングしました。
PaLMは、常識推論、ジョーク生成、コード生成、翻訳など、幅広いタスクにおいて強力な能力を示しました。チェーン・オブ・ソート・プロンプティングと組み合わせることで、複数ステップの推論を必要とするデータセット（文章問題や論理問題など）において、PaLMは顕著に優れた性能を達成しました。このモデルは、2023年3月まで非公開のままでしたが、その際にGoogleはPaLMのAPIを公開し、当初は限られた開発者にウェイトリストを通じて利用可能にしました。
アーキテクチャとトレーニング
PaLMは、Transformerアーキテクチャ、具体的にはデコーダーのみの設計に基づいています。540Bバージョンは、7800億トークンのコーパスで事前トレーニングされました。このコーパスは、フィルタリングされたウェブページ、書籍、Wikipediaの記事、ニュース記事、GitHubリポジトリのソースコード、ソーシャルメディアの会話で構成されています。このデータセットは、GoogleのLaMDAモデルのトレーニングに使用されたものから派生したもので、ソーシャルメディアの会話がコーパスの50%を占め、会話能力を強化しています。
540Bモデルのトレーニングには、2つのTPU v4ポッドが必要で、それぞれに3,072個のTPU v4チップが搭載され、768台のホストに接続されていました。これらは、モデル並列性とデータ並列性の組み合わせを使用して接続され、合計6,144個のチップで構成されていました。この構成は、当時最大のTPUセットアップであり、トレーニング効率の記録である57.8%のハードウェアFLOPs利用率を達成しました。トレーニングプロセスはPathwaysシステムを活用し、複数のポッドにわたる効率的なスケーリングを可能にしました。
バリエーションと応用
Googleは、医療データに基づいて微調整されたPaLM 540BのバージョンであるMed-PaLMを開発しました。Med-PaLMは、医療質問応答ベンチマークにおいて以前のモデルを上回り、米国医師免許試験の問題で合格点を取得した最初のモデルとなりました。これは、回答の理由を提供し、自身の応答を評価することができます。
Googleはまた、視覚変換器を備えたPaLMの拡張版であるPaLM-Eを開発しました。これは、ロボット操作のための視覚言語モデルであり、新しいタスクのために再トレーニングや微調整を必要としません。2023年6月、Googleは音声から音声への翻訳のためのAudioPaLMを発表しました。これは、PaLM-2アーキテクチャを使用しています。
後継モデル: PaLM 2
2023年5月、Googleは年次I/O基調講演でPaLM 2を発表しました。PaLM 2は、3.6兆トークンでトレーニングされた3400億パラメータのモデルであると報告されています。これはPaLMの後継として機能し、多言語能力、推論、コーディングなどの分野で前任者を改善し、PaLM APIやその他のGoogle Cloudサービスを通じて利用可能になりました。
影響と遺産
PaLMは、大規模言語モデルの開発における重要な一歩を表し、分散システムを使用して前例のない規模でモデルをトレーニングすることの実現可能性を示しました。その成功は、PaLMの後継としてGoogleの主力言語モデルとなったGeminiを含む、その後のモデルに影響を与えました。PaLMのチェーン・オブ・ソート・プロンプティングへの貢献や、PaLM-Eのようなマルチモーダル拡張は、推論と具現化AIの研究を前進させました。
関連項目
- LaMDA - PaLMの前身
- Gemini - PaLMの後継
- Chinchilla - 関連する言語モデル