Inpainting（インペインティング）は、損傷、劣化、または欠落した美術作品の一部を補完し、完全な画像を提示する保存処理プロセスです。このプロセスは画像修復において一般的に使用されています。これは、油絵やアクリル絵画、化学写真プリント、彫刻、またはデジタル画像やビデオなどの物理的およびデジタル芸術媒体の両方に適用できます。そのルーツは絵画や彫刻などの物理的芸術作品にあり、伝統的なインペインティングは、作品を注意深く研究し、作品で使用された媒体や技法、治療の潜在的なリスク、および治療の倫理的適切性を判断した訓練を受けた美術修復家によって行われます。
Generative AIの文脈では、インペインティングは広く使用される技術となり、Machine learningモデル、特にDeep learning Neural networkが、周囲の文脈に基づいて画像の欠落または破損領域を補完します。この現代的なアプローチは、歴史的な実践を、オブジェクトの削除、古い写真の修復、またはテキストプロンプトに基づく視覚コンテンツの編集ができる自動ツールに拡張します。
歴史
インペインティングの現代的な使用は、イタリアのヴェネツィアにおける公共絵画修復のディレクターであったピエトロ・エドワーズ（1744-1821年）に遡ることができます。科学的アプローチを用いて、エドワーズは芸術家の意図に修復努力を集中させました。1930年の美術作品の検査と保存のための科学的方法の研究に関する国際会議の間に、インペインティングへの現代的なアプローチが確立されました。ドイツの修復家および保存家であるヘルムート・ルーヘマン（1891-1973年）は、保存におけるインペインティングの使用に関する議論を主導しました。ルーヘマンは修復と保存の近代化における主要な人物であり、彼の最大の貢献は、元の画家の方法を正確に従い、画家の芸術的意図を理解することを主張したことでした。40年以上のキャリアの後、彼は1968年に絵画のクリーニング：問題と可能性を出版し、充填表面は周囲の絵の具よりわずかに低くあるべきであり、インペインティング媒体は経年で暗くなるべきではないという方法を説明しました。チェーザレ・ブランディ（1906-1988年）は、美学と心理学を組み合わせたテオリア・デル・レスタウロを開発し、主にイタリアの修復家によって使用され、その用語は1990年代に広く普及しました。
技術的進歩は新しい応用につながりました。1990年代半ば以降、デジタルインペインティングは、画像データの失われたまたは破損した部分を置き換えるための洗練されたアルゴリズムに依存するコンピューターソフトウェアを含むように進化しました。これはより一般的には画像またはビデオ補間として知られ、推定の一形態です。
倫理
元の芸術作品の完全性を保存するために、物理的またはデジタル作品に適用される任意のインペインティング技術または治療は、元のコンテンツから可逆的または識別可能であるべきです。治療の前に、保存家は歴史的および芸術的作品の保存に関するアメリカ協会に従って進めます。倫理的考慮事項は主に真正性、可逆性、および文書化にあります。損失を補償するための任意の介入は、治療記録および報告書に文書化され、一般的な検査方法によって検出可能であるべきです。そのような補償は可逆的であるべきであり、文化的財産の既知の美的、概念的、および物理的特性を、特に元の材料を除去または隠蔽することによって、誤って変更すべきではありません。新しい技術と、不完全さのない完璧な画像への美的需要は、保存家の倫理的実践に挑戦し、元の完全性を保護します。
物理的インペインティング
インペインティングは絵画の保存と修復に根ざしています。それは、元の芸術家の作品と同等の方法と材料を使用して欠落または損傷部分を修復することにより、作品全体に視覚的改善を目指すことができます。さまざまな芸術家の絵画方法と歴史的に使用された絵の具の組成を研究することにより、保存家は作品を元の視覚的外観に非常に近く修復できます。画像全体がギャップをどのように埋めるかを決定します。ルーヘマンの技術には、油絵とテンペラ絵画の品質を保存するための手順が含まれます。
デジタルインペインティング
多くのプログラムが、デジタル写真とビデオの欠落または損傷領域を再構築できます。デジタル画像での使用で最も広く知られているのはAdobe Photoshopです。デジタルカメラのさまざまな能力と古い写真のデジタル化により、インペインティングは自動プロセスとなっています。技術は、オブジェクト削除、テキスト削除、および画像とビデオの他の自動変更に適用できます。ビデオ特殊効果では、インペインティングは通常、ビデオマッティングの後に行われます。また、画像圧縮や超解像などのアプリケーションでも使用されます。写真と映画では、フィルム修復に使用され、ひび割れ、傷、ほこり斑点などの物理的損傷、または化学的損傷などの劣化を逆転、修復、または軽減します;これには赤外線クリーニングが含まれることがあります。また、赤目、スタンプされた日付、ロゴ、または透かしを削除し、コーディングと伝送で失われたブロックを置き換えることもできます,例えばストリーミングビデオで。
深層学習アプローチ
深層学習ニューラルネットワークベースのインペインティングは、画像の検閲解除に使用できます。深層画像事前ベースの技術は、訓練された深層学習モデルが利用できないか実行不可能な場合に使用できます。視覚コンテンツ生成のための深層モデル、例えばテキストから画像へまたはテキストからビデオへは、視覚コンテンツの分布に関する複雑な事前を学習し、欠落部分をインペイントするために使用できます。例えば、ビデオはオムニマットと呼ばれる技術を使用してレイヤーに分離でき、オムニマットモデルを事前訓練するか、訓練なしでオムニマットゼロモデルを使用します。文献には2D画像インペインティングアルゴリズムの3つの主要なグループが存在します：構造的（または幾何学的）インペインティング、テクスチャインペインティング、および2つの組み合わせです。構造的方法は幾何学的情報の伝播に焦点を当て、テクスチャ方法は反復パターンを複製します。
生成AIとプロンプティングでの使用
Generative AIでは、インペインティングは多くのLarge language modelベースおよび拡散ベースの画像生成システムのコア機能です。ユーザーは、マスクまたは選択された領域の望ましいコンテンツを説明するPromptを提供し、モデルは周囲の画像とシームレスにブレンドするピクセルを生成します。これは、キャンバスを元の境界を超えて拡張するアウトペインティングとは異なります。インペインティングは、Replicateのようなプラットフォームを通じて一般的に利用可能であり、画像編集用のモデルをホストし、OpenAI、Anthropic、およびGoogle DeepMindの研究努力などの企業のツールに統合されています。
プロンプトライターにとって、効果的なインペインティングは、既存の画像に一致するように、主題、スタイル、照明、および視点を指定する必要があります。モデルはしばしばCross-Attentionメカニズムを使用してテキストプロンプトを画像領域と整列させ、Top-K SamplingやTop-P (Nucleus) Samplingなどの技術が出力の多様性に影響を与えることがあります。このプロセスは通常、U-NetなどのEncoder-Decoder Architectureアーキテクチャを含み、マスクされた画像を処理し、充填領域を生成します。
実用的応用
インペインティングの実用的使用には、歴史的写真の修復、画像からの不要なオブジェクトや人物の削除、損傷したフィルム映像の修復、および広告とエンターテインメントでのシームレスな合成の作成が含まれます。医療画像では、インペインティングはスキャンからの欠落データを充填できます。自動運転では、トレーニングデータから障害物を削除してモデルの堅牢性を向上させることができます。この技術は、音声記録のギャップを充填するためのAudio inpaintingでも使用されますが、これは視覚的インペインティングとは別のドメインです。
課題と限界
デジタルインペインティングの課題には、元の画像の照明とテクスチャとの一貫性の維持、アーティファクトの回避、および生成されたコンテンツが、特にドキュメンタリーまたは法医学的文脈で、誤った情報を導入しないことの確保が含まれます。深層学習モデルは、元々存在しなかった詳細を幻覚することがあり、物理的保存と同様の倫理的懸念を引き起こします。2020年代初頭の時点で、モデルは複雑なシーンの処理で改善を続けていますが、完全な再構築はArtificial intelligence研究における未解決の問題のままです。