ディープラーニング・アンチエイリアシング（DLAA）は、ディープニューラルネットワークを用いて、レンダリングされたグラフィックスにおけるギザギザのエッジ、すなわちエイリアシングアーティファクトを滑らかにするリアルタイム画像再構成技術である。固定アルゴリズムに依存する従来のアンチエイリアシング手法とは異なり、DLAAは訓練済みのニューラルネットワークを使用して、低解像度または部分的にサンプリングされた画像から高精細でクリーンなエッジを推論する。これは主に、視覚的忠実度が最優先されるビデオゲームやインタラクティブな3Dアプリケーションで使用され、AIも使用するが低い内部解像度でレンダリングしてからスケーリングすることでパフォーマンス向上を優先するアップスケーリング技術としばしば対比される。
DLAAの核となる原理は、人工知能の計算能力を空間的および時間的エイリアシングという特定の問題に適用することである。マルチサンプルアンチエイリアシング（MSAA）や高速近似アンチエイリアシング（FXAA）などの従来手法は、多大なメモリ帯域幅を必要とするか、ぼやけた結果を生み出す。これに対しDLAAは、高品質画像の大規模データセットから理想的なエッジがどのように見えるべきかを学習し、ノイズの多い低解像度入力から鮮明でほぼネイティブ解像度の画像を再構成できるようにする。このアプローチは、現代のディープラーニングアーキテクチャのパターン認識能力を活用した、コンピュータグラフィックスへの機械学習の応用形態である。
技術的アプローチ
DLAAシステムは通常、メインシーンがレンダリングされた後のポストプロセッシングパスで動作する。ネットワークは、ディスプレイよりも低い解像度であることが多いレンダリング済みフレームを、モーションベクターや深度情報とともに受け取る。これらの補助入力は、ネットワークが時間的コヒーレンスとオブジェクト境界を理解するのに役立ち、前のフレームからの情報を再利用して画像を安定させ、ちらつきを低減できるようにする。ネットワーク自体は、多くの場合エンコーダー・デコーダーアーキテクチャに基づいており、入力を潜在表現に圧縮してから拡張し、最終的な高解像度出力を生成する。このようなネットワークの訓練には、低品質と高品質のペア画像の大規模なコーパスが必要であり、この作業はGoogle CloudやAmazon Web Servicesのクラスターなどの強力なハードウェアで行われることが多い。
重要な要素は時間的データの処理である。時間的フィードバックがないと、ニューラルネットワークはフレーム間で一貫性のない結果を生成し、シャイマーやゴーストを引き起こす可能性がある。前のフレームをネットワークに供給することで、DLAAは時間的アンチエイリアシング（TAA）に匹敵する安定性を、よりシャープな結果とともに達成できる。これには、現在のフレームと履歴バッファー間のクロスアテンションに類似したプロセスがしばしば関与し、ネットワークが古い情報と新しい情報を選択的にブレンドできるようにする。
アップスケーリング技術との比較
DLAAは、NvidiaのDLSS（ディープラーニング・スーパーサンプリング）やAMDのFSR（FidelityFXスーパーレゾリューション）などのAIベースのアップスケーラーとグループ化されることが多いが、重要な違いがある。アップスケーラーはゲームを低い内部解像度でレンダリングし、AIを使用してディスプレイ解像度にアップスケーリングすることで、フレームレートを向上させる。対照的にDLAAは、ネイティブのディスプレイ解像度でレンダリングし、ニューラルネットワークを適用して画像をクリーンアップする。つまり、DLAAはパフォーマンスを向上させず、追加の計算によりわずかに低下させることが多いが、可能な限り最高の画質を提供する。これにより、フレームレートよりもビジュアルを優先する強力なグラフィックスカードを持つプレイヤーにとって好ましい選択肢となる。
この違いは、大規模言語モデルを使用してテキストを要約することと、それを使用して新しいコンテンツを生成することの違いに類似している。どちらも同じ基盤技術を使用するが、目的は異なる。生成AIの文脈では、DLAAは新しい情報を発明するのではなく既存の詳細を回復することを目的とするため、生成的タスクではなく識別的または再構成的タスクである。
ハードウェアおよびソフトウェアサポート
DLAAは、2020年にNvidiaがDLSS 2.0テクノロジーの一部として初めて導入し、同じソフトウェア開発キット内の別モードとして提供された。それ以来、多くのゲーム開発者に採用され、グラフィックス設定の切り替え可能なオプションとして提供されることが多い。Nvidiaの実装は独自仕様であり、RTXグラフィックスカードを必要とするが、他のベンダーも同様のアイデアを探求している。例えば、AMDは独自のFSR技術を開発しており、DLAAと同様に機能するネイティブ品質モードを含むが、ディープラーニングに基づいていない。IntelのXeSS（Xeスーパーサンプリング）も、Arcグラフィックスカードでアンチエイリアシング目的に使用できる品質モードを含む。
DLAAの実装は簡単ではない。モーションベクターと深度バッファーへのアクセスが必要であり、これらはゲームエンジンによっては常に公開されていない。これにより統合の課題が生じ、すべてのゲームがサポートしているわけではない。しかし、Unreal EngineやUnityなどの主要なゲームエンジンは、さまざまなDLAA実装のネイティブサポートを追加しており、開発者のプロセスを簡素化している。計算コストも重要であり、ニューラルネットワークはリアルタイムで、通常はフレームあたり数ミリ秒以内で実行する必要がある。これは、現代のGPUに見られる専用テンソルコアや類似のAIアクセラレーターによって加速されることが多い。
アプリケーションと将来の方向性
ゲーム以外にも、DLAAは仮想現実（VR）や建築ビジュアライゼーションなど、画質が重要となる他のリアルタイムレンダリング領域での潜在的な応用がある。VRでは、高解像度と高フレームレートの要件によりエイリアシングが特に目立ち、DLAAはスーパーサンプリングの計算負荷を軽減するのに役立つ可能性がある。プロフェッショナルなビジュアライゼーションでは、DLAAは高価なオフラインレンダリングを必要とせずに複雑なシーンの高品質プレビューをレンダリングするために使用できる。
この分野の研究は進行中であり、新しいアーキテクチャと訓練方法が開発されている。残差ネットワークやバッチ正規化などの技術は、訓練の安定性とパフォーマンスを向上させるために一般的に使用されている。この分野はまた、コンピュータビジョンや画像処理の進歩に影響を受けており、バークレーAIリサーチや他の学術機関が基礎理論に貢献している。ニューラルネットワークハードウェアがより強力で効率的になるにつれて、DLAAはすべてのリアルタイムグラフィックスアプリケーションの標準機能となり、従来のアンチエイリアシング手法を完全に置き換える可能性が高い。
制限と課題
その利点にもかかわらず、DLAAには制限がないわけではない。出力の品質は、訓練データとネットワークが未知のシーンに一般化する能力に大きく依存する。細かいテキストや反復パターンなどの特定の種類のコンテンツは、依然としてアーティファクトを引き起こす可能性がある。オブジェクトが速く動くとゴーストが発生する可能性があり、時間的フィードバックループがレイテンシーを導入する可能性がある。さらに、一部の実装の独自仕様の性質により、特定のハードウェアベンダーに結び付けられ、採用が制限される。オープンソースの代替案が登場しているが、多くの場合、より多くのチューニングが必要であり、同じレベルの品質を達成できない可能性がある。他の機械学習システムと同様に、訓練分布への過適合のリスクもあり、エッジケースで予期しない動作を引き起こす可能性がある。