El inpainting es un proceso de conservación en el que las partes dañadas, deterioradas o faltantes de una obra de arte se rellenan para presentar una imagen completa. Este proceso se utiliza comúnmente en la restauración de imágenes. Puede aplicarse tanto a medios artísticos físicos como digitales, como pinturas al óleo o acrílicas, impresiones fotográficas químicas, esculturas o imágenes y videos digitales. Con sus raíces en obras de arte físicas, como la pintura y la escultura, el inpainting tradicional es realizado por un conservador de arte capacitado que ha estudiado cuidadosamente la obra para determinar los medios y las técnicas utilizados en la pieza, los riesgos potenciales de los tratamientos y la idoneidad ética del tratamiento.
En el contexto de la inteligencia artificial generativa, el inpainting se ha convertido en una técnica ampliamente utilizada en la que los modelos de aprendizaje automático, particularmente las redes neuronales de aprendizaje profundo, rellenan regiones faltantes o corruptas de una imagen basándose en el contexto circundante. Este enfoque moderno extiende la práctica histórica a herramientas automatizadas que pueden eliminar objetos, restaurar fotografías antiguas o editar contenido visual basándose en indicaciones textuales.
Historia
El uso moderno del inpainting se remonta a Pietro Edwards (1744-1821), Director de la Restauración de las Pinturas Públicas en Venecia, Italia. Utilizando un enfoque científico, Edwards centró sus esfuerzos de restauración en las intenciones del artista. Fue durante la Conferencia Internacional de 1930 para el Estudio de Métodos Científicos para el Examen y la Preservación de Obras de Arte que se estableció el enfoque moderno del inpainting. Helmut Ruhemann (1891-1973), un restaurador y conservador alemán, lideró las discusiones sobre el uso del inpainting en la conservación. Ruhemann fue una figura destacada en la modernización de la restauración y la conservación, y su mayor contribución fue su insistencia en seguir exactamente los métodos del pintor original y comprender la intención artística del pintor. Después de una carrera de más de 40 años, publicó The Cleaning of Paintings: Problems & Potentialities en 1968, describiendo métodos donde la superficie del relleno debería estar ligeramente más baja que la pintura circundante y el medio de inpainting no debería oscurecerse con la edad. Cesare Brandi (1906-1988) desarrolló la teoria del restauro, un enfoque que combina estética y psicología, utilizado principalmente por restauradores italianos, con una terminología que se generalizó en la década de 1990.
Los avances tecnológicos llevaron a nuevas aplicaciones. Desde mediados de la década de 1990, el inpainting digital ha evolucionado para incluir software informático que depende de algoritmos sofisticados para reemplazar partes perdidas o corruptas de los datos de imagen. Esto se conoce más comúnmente como interpolación de imágenes o videos, una forma de estimación.
Ética
Para preservar la integridad de una obra de arte original, cualquier técnica o tratamiento de inpainting aplicado a una obra física o digital debe ser reversible o distinguible del contenido original. Antes de los tratamientos, los conservadores proceden de acuerdo con el Instituto Americano de Conservación de Obras Históricas y Artísticas. Las consideraciones éticas recaen principalmente en la autenticidad, la reversibilidad y la documentación. Cualquier intervención para compensar la pérdida debe documentarse en los registros e informes de tratamiento y debe ser detectable mediante métodos de examen comunes. Dicha compensación debe ser reversible y no debe modificar falsamente las características estéticas, conceptuales y físicas conocidas de la propiedad cultural, especialmente eliminando u oscureciendo material original. Las nuevas tecnologías y la demanda estética de imágenes perfectas sin imperfecciones desafían las prácticas éticas de los conservadores para proteger la integridad de los originales.
Inpainting físico
El inpainting tiene sus raíces en la conservación y restauración de pinturas. Puede tener como objetivo realizar una mejora visual de la obra de arte en su conjunto reparando partes faltantes o dañadas utilizando métodos y materiales equivalentes al trabajo del artista original. Al estudiar los métodos de pintura de varios artistas y la composición de las pinturas utilizadas históricamente, los conservadores pueden restaurar las obras muy cerca de su apariencia visual original. La imagen en su conjunto determina cómo rellenar el hueco. Las técnicas de Ruhemann incluyen procedimientos para preservar la calidad de las pinturas al óleo y al temple.
Inpainting digital
Muchos programas pueden reconstruir áreas faltantes o dañadas de fotografías y videos digitales. El más conocido para su uso con imágenes digitales es Adobe Photoshop. Dadas las diversas capacidades de la cámara digital y la digitalización de fotos antiguas, el inpainting se ha convertido en un proceso automático. Las técnicas pueden aplicarse a la eliminación de objetos, la eliminación de texto y otras modificaciones automáticas de imágenes y videos. En los efectos especiales de video, el inpainting generalmente se realiza después del matting de video. También se utiliza en aplicaciones como la compresión de imágenes y la superresolución. En fotografía y cine, se utiliza para la restauración de películas para revertir, reparar o mitigar el deterioro, como daños físicos como grietas, rasguños y manchas de polvo, o daños químicos; esto puede incluir la limpieza infrarroja. También puede eliminar ojos rojos, fechas estampadas, logotipos o marcas de agua, y reemplazar bloques perdidos en la codificación y transmisión, por ejemplo, en video en streaming.
Enfoques de aprendizaje profundo
El inpainting basado en redes neuronales de aprendizaje profundo puede utilizarse para descensurar imágenes. Las técnicas basadas en prior de imagen profunda pueden usarse cuando un modelo de aprendizaje profundo entrenado no está disponible o no es factible. Los modelos profundos para la generación de contenido visual, como texto a imagen o texto a video, aprenden prior complejos sobre la distribución del contenido visual y pueden usarse para rellenar partes faltantes. Por ejemplo, los videos pueden separarse en capas utilizando una técnica llamada omnimatte, que preentrena un modelo omnimatte o utiliza un modelo omnimatte-zero sin ningún entrenamiento.
Existen tres grupos principales de algoritmos de inpainting de imágenes 2D en la literatura: inpainting estructural (o geométrico), inpainting de textura y una combinación de ambos. Los métodos estructurales se centran en propagar información geométrica, mientras que los métodos de textura replican patrones repetitivos.
Uso en IA generativa y prompting
En la inteligencia artificial generativa, el inpainting es una capacidad central de muchos sistemas de generación de imágenes basados en modelos de lenguaje grandes y en difusión. Los usuarios proporcionan un prompt que describe el contenido deseado para una región enmascarada o seleccionada, y el modelo genera píxeles que se fusionan perfectamente con la imagen circundante. Esto es distinto del outpainting, que extiende el lienzo más allá de sus bordes originales. El inpainting está comúnmente disponible a través de plataformas como Replicate, que alojan modelos para la edición de imágenes, y está integrado en herramientas de empresas como OpenAI, Anthropic y esfuerzos de investigación de Google DeepMind.
Para los escritores de prompts, un inpainting efectivo requiere especificar el sujeto, el estilo, la iluminación y la perspectiva para que coincidan con la imagen existente. Los modelos a menudo utilizan mecanismos de atención cruzada para alinear los prompts de texto con las regiones de la imagen, y técnicas como muestreo top-k o muestreo top-p pueden influir en la diversidad de la salida. El proceso típicamente involucra una arquitectura de codificador-decodificador, como un U-Net, que procesa la imagen enmascarada y genera la región rellenada.
Aplicaciones prácticas
Los usos prácticos del inpainting incluyen la restauración de fotografías históricas, la eliminación de objetos o personas no deseados de imágenes, la reparación de metraje de películas dañado y la creación de composiciones perfectas en publicidad y entretenimiento. En imágenes médicas, el inpainting puede rellenar datos faltantes de escaneos. En la conducción autónoma, puede eliminar obstáculos de los datos de entrenamiento para mejorar la robustez del modelo. La técnica también se utiliza en inpainting de audio para rellenar huecos en grabaciones de sonido, aunque este es un dominio separado del inpainting visual.
Desafíos y limitaciones
Los desafíos en el inpainting digital incluyen mantener la consistencia con la iluminación y textura de la imagen original, evitar artefactos y garantizar que el contenido generado no introduzca información falsa, especialmente en contextos documentales o forenses. Los modelos de aprendizaje profundo pueden alucinar detalles que no estaban presentes originalmente, lo que plantea preocupaciones éticas similares a las de la conservación física. A partir de principios de la década de 2020, los modelos continúan mejorando en el manejo de escenas complejas, pero la reconstrucción perfecta sigue siendo un problema abierto en la investigación de inteligencia artificial.