图像修复是一种保护过程，通过填补艺术品中受损、退化或缺失的部分，以呈现完整的图像。这一过程常用于图像修复，可应用于物理和数字艺术媒介，如油画或丙烯画、化学照片冲印、雕塑，或数字图像和视频。其根源在于绘画和雕塑等实体艺术品，传统修复由受过训练的艺术修复师执行，他们仔细研究艺术品，以确定作品中使用的媒介和技术、处理的潜在风险以及处理的伦理适当性。
在生成式人工智能的背景下，修复已成为一种广泛使用的技术，其中机器学习模型，特别是深度学习神经网络，根据周围上下文填补图像中缺失或损坏的区域。这种现代方法将历史实践扩展为自动化工具，可用于移除物体、修复旧照片或基于文本提示编辑视觉内容。
历史
现代修复的使用可追溯到彼得罗·爱德华兹（Pietro Edwards，1744-1821年），他是意大利威尼斯公共绘画修复总监。爱德华兹采用科学方法，将修复工作重点放在艺术家的意图上。1930年国际艺术品检查与保护科学方法研究会议确立了现代修复方法。德国修复师和保护员赫尔穆特·鲁赫曼（Helmut Ruhemann，1891-1973年）主导了关于在保护中使用修复的讨论。鲁赫曼是现代化修复和保护领域的领军人物，其最大贡献在于坚持严格遵循原画家的方法并理解画家的艺术意图。在超过40年的职业生涯后，他于1968年出版了《绘画清洁：问题与可能性》，描述了填充表面应略低于周围颜料且修复媒介不应随年龄变暗的方法。切萨雷·布兰迪（Cesare Brandi，1906-1988年）发展了“修复理论”，一种结合美学和心理学的方法，主要由意大利修复师使用，其术语在1990年代广泛传播。
技术进步带来了新的应用。自1990年代中期以来，数字修复已发展为依赖复杂算法来替换图像数据中丢失或损坏部分的计算机软件。这更常被称为图像或视频插值，一种估计形式。
伦理
为保持原作的完整性，应用于物理或数字作品的任何修复技术或处理都应可逆或与原内容可区分。在处理前，修复师遵循美国历史与艺术作品保护研究所的规范。伦理考量主要涉及真实性、可逆性和记录。任何补偿损失的干预措施都应记录在处理记录和报告中，并可通过常见检查方法检测到。此类补偿应可逆，且不应错误修改文化财产已知的美学、概念和物理特征，尤其是通过移除或遮蔽原始材料。新技术和对无瑕疵完美图像的美学需求，挑战着修复师保护原作完整性的伦理实践。
物理修复
修复根植于绘画的保护和修复。其目标可能是通过使用与原艺术家作品等效的方法和材料修复缺失或损坏部分，从而对整体艺术品进行视觉改进。通过研究不同艺术家的绘画方法和历史上使用的颜料成分，修复师可以非常接近原始视觉外观地恢复作品。整体画面决定了如何填补空隙。鲁赫曼的技术包括保持油画和蛋彩画质量的程序。
数字修复
许多程序可以重建数字照片和视频中缺失或损坏的区域。最广为人知的数字图像使用软件是Adobe Photoshop。鉴于数码相机的各种能力和旧照片的数字化，修复已成为一个自动化过程。技术可应用于物体移除、文本移除以及其他图像和视频的自动修改。在视频特效中，修复通常在视频抠像后执行。它也用于图像压缩和超分辨率等应用。在摄影和电影中，它用于胶片修复，以逆转、修复或减轻劣化，如裂纹、划痕和灰尘斑点等物理损伤，或化学损伤；这可能包括红外清洁。它还可以去除红眼、盖印日期、徽标或水印，并替换编码和传输中丢失的块，例如在流媒体视频中。
深度学习方法
基于深度学习神经网络的修复可用于图像去审查。当训练好的深度学习模型不可用或不可行时，可使用基于深度图像先验的技术。用于视觉内容生成的深度模型，如文本到图像或文本到视频，学习视觉内容分布的复杂先验，可用于修复缺失部分。例如，视频可以使用称为omnimatte的技术分层，该技术要么预训练omnimatte模型，要么使用无需任何训练的omnimatte-zero模型。
文献中存在三大类二维图像修复算法：结构（或几何）修复、纹理修复以及两者的组合。结构方法侧重于传播几何信息，而纹理方法复制重复图案。
在生成式人工智能和提示中的使用
在生成式人工智能中，修复是许多基于大型语言模型和扩散的图像生成系统的核心能力。用户提供描述掩码或选定区域所需内容的提示，模型生成与周围图像无缝融合的像素。这不同于外扩，后者扩展画布超出原始边界。修复通常通过Replicate等平台提供，这些平台托管图像编辑模型，并集成到OpenAI、Anthropic和Google DeepMind等公司的研究工作中。
对于提示编写者，有效的修复需要指定主题、风格、光照和视角，以匹配现有图像。模型通常使用交叉注意力机制将文本提示与图像区域对齐，而top-k采样或top-p采样等技术可能影响输出多样性。该过程通常涉及编码器-解码器架构，如U-Net，处理掩码图像并生成填充区域。
实际应用
修复的实际用途包括修复历史照片、从图像中移除不需要的物体或人物、修复损坏的胶片素材，以及在广告和娱乐中创建无缝合成。在医学成像中，修复可以填补扫描中的缺失数据。在自动驾驶中，它可以移除训练数据中的障碍物以提高模型鲁棒性。该技术也用于音频修复，填补录音中的间隙，尽管这是与视觉修复不同的领域。
挑战与局限性
数字修复中的挑战包括保持与原图像光照和纹理的一致性、避免伪影，以及确保生成内容不引入虚假信息，尤其是在纪实或法医背景下。深度学习模型可能产生原本不存在的细节幻觉，引发与物理保护类似的伦理问题。截至2020年代初期，模型在处理复杂场景方面持续改进，但完美重建仍是人工智能研究中的一个开放问题。