SD3 Largeは、Stability AIによって開発された画像合成用のGenerative AIモデルである。2024年にリリースされ、テキスト記述から高解像度画像を生成することに焦点を当てたStable Diffusion 3ファミリーの一部である。このモデルは、プロンプトへの忠実性、フォトリアリズム、画像内のテキストレンダリングなどの分野において、以前のStable Diffusionバージョンを改善するように設計されている。
SD3 Largeは、テキストから画像を生成するモデルであり、以前のU-Netベースの設計とは異なるTransformer (architecture)ベースのアーキテクチャを使用している。Multi-Head Attentionメカニズムを組み込み、画像とテキストのペアの大規模なデータセットでトレーニングされている。このモデルは、最大1024x1024ピクセルの解像度で画像を生成でき、インペインティングやアウトペインティングなどの機能をサポートしており、既存の画像の編集や拡張が可能である。
アーキテクチャ
SD3 Largeの基盤となるアーキテクチャは拡散モデルであり、テキストプロンプトに導かれてノイズの多い画像をクリーンな出力へと反復的に洗練させる。数十億のパラメータを持つNeural networkを採用しており、Stable Diffusionシリーズの中でも大規模なモデルの一つとなっている。このモデルは、Cross-Attentionメカニズムを使用してテキスト埋め込みと画像特徴を整合させ、生成コンテンツの精密な制御を可能にする。以前のバージョンがResidual Network (ResNet)ブロックに依存していたのに対し、SD3 Largeは純粋なトランスフォーマーバックボーンを活用しており、スケーラビリティとパフォーマンスが向上している。
機能
SD3 Largeは、以前のテキストから画像へのモデルにとって一般的な課題であった、正確なテキストレンダリングを備えた画像の生成に優れている。フォトリアリスティックから芸術的まで幅広いスタイルをサポートし、複数のオブジェクトや属性を含む複雑なプロンプトを処理できる。また、出力で避けるべき内容を指定できるネガティブプロンプトや、プロンプトへの忠実性を制御するガイダンススケールパラメータなどの高度な機能も提供する。トレーニング中はAdam (Optimizer)の使用に最適化されているが、推論ではTop-P (Nucleus) SamplingやTemperature Scalingなどの標準的なサンプリング技術が使用される。
リリースと入手可能性
SD3 Largeは、同年に先行リリースされたSD3 Mediumに続き、2024年6月にリリースされた。研究および個人使用向けの非商用ライセンスで提供され、商用ライセンスはStability AIを通じて利用可能である。このモデルは、Stability AI APIを介してアクセスできるほか、Amazon Web ServicesやGoogle Cloudなどのプラットフォームとの統合を通じても利用できる。また、Hugging Faceでのダウンロードも可能であり、開発者はAMDやNVIDIA GPUなどの互換性のあるハードウェア上でローカルに実行できる。
パフォーマンスと評価
SD3 Largeの初期評価では、画像品質やプロンプト忠実性などのベンチマークにおいて、先行モデルと比較して大幅な改善が見られた。判読可能なテキストの生成や複雑なシーンの処理能力について、Machine learningコミュニティから肯定的なフィードバックを受けた。しかし、一部のユーザーは、このモデルがかなりの計算リソースを必要とするため、高性能なハードウェアを持たない趣味のユーザーには利用しにくいと指摘した。2024年現在、SD3 LargeはDeep learningベースの画像生成分野における主要なオープンウェイトモデルの一つと見なされている。
制限事項
その強みにもかかわらず、SD3 Largeには制限がある。非常に抽象的なプロンプトや珍しいオブジェクトを含むプロンプトでは苦労することがあり、複雑な照明条件下ではアーティファクトが発生することがある。また、このモデルはトレーニングデータからバイアスを継承しており、ステレオタイプ的な表現につながる可能性がある。Stability AIは有害なコンテンツを減らすための安全フィルターを実装しているが、これらは完全ではない。他のLarge language model関連技術と同様に、今後のイテレーションでこれらの問題に対処するための継続的な研究が行われている。