Inpainting é um processo de conservação no qual partes danificadas, deterioradas ou ausentes de uma obra de arte são preenchidas para apresentar uma imagem completa. Este processo é comumente usado na restauração de imagens. Pode ser aplicado tanto em meios artísticos físicos quanto digitais, como pinturas a óleo ou acrílicas, impressões fotográficas químicas, esculturas, ou imagens e vídeos digitais. Com suas raízes em obras de arte físicas, como pintura e escultura, o inpainting tradicional é realizado por um conservador de arte treinado que estudou cuidadosamente a obra para determinar os meios e as técnicas usados na peça, os riscos potenciais dos tratamentos e a adequação ética do tratamento.
No contexto da IA generativa, o inpainting tornou-se uma técnica amplamente utilizada em que modelos de aprendizado de máquina, particularmente redes neurais de aprendizado profundo, preenchem regiões ausentes ou corrompidas de uma imagem com base no contexto circundante. Essa abordagem moderna estende a prática histórica a ferramentas automatizadas que podem remover objetos, restaurar fotografias antigas ou editar conteúdo visual com base em instruções textuais.
História
O uso moderno do inpainting pode ser rastreado até Pietro Edwards (1744-1821), Diretor da Restauração das Pinturas Públicas em Veneza, Itália. Usando uma abordagem científica, Edwards focou seus esforços de restauração nas intenções do artista. Foi durante a Conferência Internacional de 1930 para o Estudo de Métodos Científicos para o Exame e Preservação de Obras de Arte que a abordagem moderna do inpainting foi estabelecida. Helmut Ruhemann (1891-1973), um restaurador e conservador alemão, liderou as discussões sobre o uso do inpainting na conservação. Ruhemann foi uma figura de destaque na modernização da restauração e conservação, e sua maior contribuição foi sua insistência em seguir exatamente os métodos do pintor original e compreender a intenção artística do pintor. Após uma carreira de mais de 40 anos, ele publicou The Cleaning of Paintings: Problems & Potentialities em 1968, descrevendo métodos em que a superfície do preenchimento deveria ser ligeiramente mais baixa que a tinta circundante e o meio de inpainting não deveria escurecer com a idade. Cesare Brandi (1906-1988) desenvolveu a teoria del restauro, uma abordagem que combina estética e psicologia, usada principalmente por restauradores italianos, com terminologia que se tornou difundida na década de 1990.
Os avanços tecnológicos levaram a novas aplicações. Desde meados da década de 1990, o inpainting digital evoluiu para incluir softwares de computador que dependem de algoritmos sofisticados para substituir partes perdidas ou corrompidas dos dados de imagem. Isso é mais comumente conhecido como interpolação de imagem ou vídeo, uma forma de estimativa.
Ética
Para preservar a integridade de uma obra de arte original, qualquer técnica ou tratamento de inpainting aplicado a obras físicas ou digitais deve ser reversível ou distinguível do conteúdo original. Antes dos tratamentos, os conservadores procedem de acordo com o Instituto Americano de Conservação de Obras Históricas e Artísticas. As considerações éticas residem principalmente na autenticidade, reversibilidade e documentação. Qualquer intervenção para compensar a perda deve ser documentada em registros e relatórios de tratamento e deve ser detectável por métodos comuns de exame. Tal compensação deve ser reversível e não deve modificar falsamente as características estéticas, conceituais e físicas conhecidas da propriedade cultural, especialmente removendo ou obscurecendo material original. Novas tecnologias e a demanda estética por imagens perfeitas sem imperfeições desafiam as práticas éticas dos conservadores para proteger a integridade dos originais.
Inpainting Físico
O inpainting está enraizado na conservação e restauração de pinturas. Pode ter como objetivo fazer uma melhoria visual na obra de arte como um todo, reparando partes ausentes ou danificadas usando métodos e materiais equivalentes ao trabalho do artista original. Ao estudar os métodos de pintura de vários artistas e a composição das tintas usadas historicamente, os conservadores podem restaurar obras muito próximas de sua aparência visual original. A imagem como um todo determina como preencher a lacuna. As técnicas de Ruhemann incluem procedimentos para preservar a qualidade de pinturas a óleo e têmpera.
Inpainting Digital
Muitos programas podem reconstruir áreas ausentes ou danificadas de fotografias e vídeos digitais. O mais amplamente conhecido para uso com imagens digitais é o Adobe Photoshop. Dadas as várias capacidades da câmera digital e a digitalização de fotos antigas, o inpainting tornou-se um processo automático. As técnicas podem ser aplicadas à remoção de objetos, remoção de texto e outras modificações automáticas de imagens e vídeos. Em efeitos especiais de vídeo, o inpainting é geralmente realizado após a matting de vídeo. Também é usado em aplicações como compressão de imagem e super-resolução. Na fotografia e no cinema, é usado para restauração de filmes para reverter, reparar ou mitigar a deterioração, como danos físicos como rachaduras, arranhões e pontos de poeira, ou danos químicos; isso pode incluir limpeza infravermelha. Também pode remover olhos vermelhos, datas carimbadas, logotipos ou marcas d'água, e substituir blocos perdidos na codificação e transmissão, por exemplo, em vídeo de streaming.
Abordagens de Aprendizado Profundo
O inpainting baseado em redes neurais de aprendizado profundo pode ser usado para descensurar imagens. Técnicas baseadas em prior de imagem profunda podem ser usadas quando um modelo de aprendizado profundo treinado não está disponível ou é inviável. Modelos profundos para geração de conteúdo visual, como texto-para-imagem ou texto-para-vídeo, aprendem priors complexos sobre a distribuição de conteúdo visual e podem ser usados para preencher partes ausentes. Por exemplo, vídeos podem ser separados em camadas usando uma técnica chamada omnimatte, que pré-treina um modelo omnimatte ou usa um modelo omnimatte-zero sem qualquer treinamento.
Existem três grupos principais de algoritmos de inpainting de imagens 2D na literatura: inpainting estrutural (ou geométrico), inpainting de textura e uma combinação dos dois. Os métodos estruturais focam na propagação de informações geométricas, enquanto os métodos de textura replicam padrões repetitivos.
Uso em IA Generativa e Prompting
Na IA generativa, o inpainting é uma capacidade central de muitos sistemas de geração de imagens baseados em modelos de linguagem de grande escala e difusão. Os usuários fornecem um prompt descrevendo o conteúdo desejado para uma região mascarada ou selecionada, e o modelo gera pixels que se misturam perfeitamente com a imagem circundante. Isso é distinto do outpainting, que estende a tela além de suas bordas originais. O inpainting está comumente disponível através de plataformas como replicate, que hospedam modelos para edição de imagens, e está integrado em ferramentas de empresas como openai, anthropic e esforços de pesquisa do google-deepmind.
Para escritores de prompts, um inpainting eficaz requer especificar o assunto, estilo, iluminação e perspectiva para corresponder à imagem existente. Os modelos frequentemente usam mecanismos de atenção cruzada para alinhar prompts de texto com regiões de imagem, e técnicas como amostragem top-k ou amostragem top-p podem influenciar a diversidade da saída. O processo tipicamente envolve uma arquitetura codificador-decodificador, como um u-net, que processa a imagem mascarada e gera a região preenchida.
Aplicações Práticas
Usos práticos do inpainting incluem restaurar fotografias históricas, remover objetos ou pessoas indesejados de imagens, reparar filmagens danificadas e criar composições perfeitas em publicidade e entretenimento. Em imagens médicas, o inpainting pode preencher dados ausentes de exames. Na direção autônoma, pode remover obstáculos dos dados de treinamento para melhorar a robustez do modelo. A técnica também é usada em inpainting de áudio para preencher lacunas em gravações de som, embora seja um domínio separado do inpainting visual.
Desafios e Limitações
Os desafios no inpainting digital incluem manter a consistência com a iluminação e textura da imagem original, evitar artefatos e garantir que o conteúdo gerado não introduza informações falsas, especialmente em contextos documentais ou forenses. Modelos de aprendizado profundo podem alucinar detalhes que não estavam originalmente presentes, levantando preocupações éticas semelhantes às da conservação física. A partir do início da década de 2020, os modelos continuam a melhorar no manuseio de cenas complexas, mas a reconstrução perfeita permanece um problema em aberto na pesquisa de inteligência artificial.