Partiは、Google DeepMindによって開発された自己回帰型テキストから画像へのモデルである。画像生成をシーケンス間問題として扱うことで、テキスト記述から画像を生成し、これは大規模言語モデルがテキストを生成する方法と類似している。Partiは2022年に発表され、複数のオブジェクトや特定の属性を含む複雑なプロンプトから、高忠実度で写実的な画像を生成できることで注目されている。
このモデルは、まずエンコーダを使用して入力テキストプロンプトをトークンのシーケンスに変換し、その後、画像トークンのシーケンスを自己回帰的に予測する。これらの画像トークンは、別途学習された離散的なビジュアルコードブックから導出される。このアプローチにより、Partiはモデルサイズとトレーニングデータに応じて効果的にスケーリングでき、画像品質と意味的整合性の向上につながる。
アーキテクチャ
PartiのアーキテクチャはTransformerモデルに基づいている。エンコーダ・デコーダ構造を使用し、エンコーダがテキストプロンプトを処理し、デコーダが画像トークンシーケンスを生成する。ビジュアルトークンは、トークナイザとして機能する事前学習済みのVision Transformer（ViT）モデルから取得される。デコーダは、テキストと以前に生成されたトークンが与えられた場合に次の画像トークンを予測するように訓練され、これは機械学習のシーケンスモデリングに類似したプロセスである。
モデルは3億5000万から200億パラメータのさまざまなサイズで訓練された。最大のバリアントであるParti-20Bは、MS-COCOやLocalized Narrativesなどのベンチマークで最先端のパフォーマンスを達成し、生成画像と実画像の分布間の類似性を測定する高いFID（Fréchet Inception Distance）スコアを達成した。
トレーニングとデータ
Partiは、公開されているウェブデータと独自データセットを含む大規模な画像とテキストのペアのデータセットで訓練された。トレーニングプロセスは2つの段階で構成されていた。まず、ViTベースのトークナイザを使用してビジュアルコードブックを学習し、次に、テキストから画像トークンを予測する自己回帰型トランスフォーマーを訓練する。モデルは、離散的な画像トークンに対する標準的なクロスエントロピー損失を使用して最適化された。
Googleは、モデルサイズとトレーニングデータをスケーリングすることで、特に構成推論を必要とする複雑なプロンプトにおいて、画像品質が一貫して向上したと報告した。モデルはまた、複数のオブジェクト、空間関係、およびスタイル属性を含むプロンプトを処理する能力を示した。
機能と制限
Partiは、高忠実度と意味的精度で画像を生成することに優れている。特定のシーンを説明するプロンプト（例：「猫が帽子をかぶっている写真」や「夕日の中の未来的な都市の絵画」）から画像を生成できる。モデルはまた、多くの画像生成モデルにとって難しいタスクであるテキストレンダリングもサポートしている。ただし、Partiには制限があり、オブジェクト数の誤りや属性のわずかな不一致など、細部のエラーが時折発生する。また、トレーニングと推論にはかなりの計算リソースが必要である。
他のモデルとの比較
Partiは、DALL-E 2やImagenなどの他のテキストから画像へのモデルと同時に開発された。Imagenは拡散ベースのアプローチを使用する一方、Partiは自己回帰型であり、シーケンスモデリングの進歩を活用できる。評価では、Parti-20BはMS-COCOなどのベンチマークでDALL-E 2やImagenと比較して競争力のある、または優れた結果を達成し、特にFIDスコアと人間による評価で優れていた。ただし、拡散モデルであるImagenは特定の美的品質で強いパフォーマンスを示すとされ、Partiは意味的整合性と複雑な推論で優れていた。
影響と遺産
Partiは、画像合成における生成AIの急速な進歩に貢献した。その自己回帰的アプローチは、テキストと画像が共有トークンスペースで処理される統合マルチモーダルモデルにおけるその後の研究に影響を与えた。Partiのコードブックとスケーリングに関する洞察は、後にテキスト、画像、音声生成を統合するGeminiファミリーなど、他のGoogleモデルに組み込まれた。このモデルはまた、深層学習研究の知見と一致する、視覚言語タスクにおけるスケーリング則の重要性を強調した。