인페인팅(Inpainting)은 손상되거나 훼손되거나 누락된 예술 작품의 일부를 채워 완전한 이미지를 제시하는 보존 과정이다. 이 과정은 이미지 복원에서 흔히 사용된다. 유화나 아크릴화, 화학 인화 사진, 조각, 또는 디지털 이미지와 비디오와 같은 물리적 및 디지털 예술 매체 모두에 적용될 수 있다. 회화와 조각과 같은 물리적 예술 작품에 뿌리를 둔 전통적인 인페인팅은 작품에 사용된 매체와 기법, 처리의 잠재적 위험, 처리의 윤리적 적절성을 결정하기 위해 작품을 신중히 연구한 훈련된 예술 보존가에 의해 수행된다.
생성형 인공지능의 맥락에서 인페인팅은 머신러닝 모델, 특히 딥러닝 신경망이 주변 맥락을 기반으로 이미지의 누락되거나 손상된 영역을 채우는 널리 사용되는 기법이 되었다. 이러한 현대적 접근 방식은 역사적 관행을 확장하여 객체 제거, 오래된 사진 복원, 또는 텍스트 프롬프트 기반의 시각적 콘텐츠 편집을 할 수 있는 자동화 도구로 발전시켰다.
역사
현대적 인페인팅의 사용은 이탈리아 베네치아의 공공 회화 복원 책임자였던 피에트로 에드워즈(Pietro Edwards, 1744-1821)로 거슬러 올라갈 수 있다. 과학적 접근 방식을 사용한 에드워즈는 작가의 의도에 복원 노력을 집중했다. 현대적 인페인팅 접근 방식이 확립된 것은 1930년 국제 예술 작품 검사 및 보존을 위한 과학적 방법 연구 회의(International Conference for the Study of Scientific Methods for the Examination and Preservation of Works of Art)에서였다. 독일의 복원가이자 보존가인 헬무트 루헤만(Helmut Ruhemann, 1891-1973)이 보존에서 인페인팅 사용에 관한 논의를 주도했다. 루헤만은 복원 및 보존 현대화의 선도적 인물이었으며, 그의 가장 큰 공헌은 원래 화가의 방법을 정확히 따르고 화가의 예술적 의도를 이해해야 한다는 주장이었다. 40년 이상의 경력 후, 그는 1968년 회화의 세척: 문제점과 가능성(The Cleaning of Paintings: Problems & Potentialities)을 출판하여 충전재의 표면이 주변 페인트보다 약간 낮아야 하고 인페인팅 매체가 시간이 지나도 어두워지지 않아야 하는 방법을 설명했다. 체사레 브란디(Cesare Brandi, 1906-1988)는 미학과 심리를 결합한 접근 방식인 teoria del restauro를 개발했으며, 주로 이탈리아 복원가들이 사용했고 그 용어는 1990년대에 널리 보급되었다.
기술적 발전은 새로운 응용 분야로 이어졌다. 1990년대 중반 이후 디지털 인페인팅은 정교한 알고리즘에 의존하여 이미지 데이터의 손실되거나 손상된 부분을 대체하는 컴퓨터 소프트웨어를 포함하도록 진화했다. 이는 더 일반적으로 이미지 또는 비디오 보간(interpolation)으로 알려져 있으며, 일종의 추정 형태이다.
윤리
원본 예술 작품의 무결성을 보존하기 위해 물리적 또는 디지털 작품에 적용되는 모든 인페인팅 기법이나 처리는 원본 콘텐츠와 구별 가능하거나 되돌릴 수 있어야 한다. 처리를 수행하기 전에 보존가들은 미국 역사 및 예술 작품 보존 연구소(American Institute of Conservation of Historical and Artistic Works)의 지침에 따라 진행한다. 윤리적 고려 사항은 주로 진정성, 가역성, 문서화에 있다. 손실을 보상하기 위한 모든 개입은 처리 기록과 보고서에 문서화되어야 하며 일반적인 검사 방법으로 감지할 수 있어야 한다. 이러한 보상은 가역적이어야 하며, 특히 원본 재료를 제거하거나 가림으로써 문화재의 알려진 미학적, 개념적, 물리적 특성을 잘못 수정해서는 안 된다. 새로운 기술과 결함 없는 완벽한 이미지에 대한 미학적 요구는 원본의 무결성을 보호하려는 보존가의 윤리적 관행에 도전을 제기한다.
물리적 인페인팅
인페인팅은 회화의 보존 및 복원에 뿌리를 두고 있다. 이는 원래 작가의 작업과 동등한 방법과 재료를 사용하여 누락되거나 손상된 부분을 수리함으로써 예술 작품 전체의 시각적 개선을 목표로 할 수 있다. 다양한 화가의 회화 방법과 역사적으로 사용된 페인트의 구성을 연구함으로써 보존가들은 작품을 원래 시각적 모습에 매우 가깝게 복원할 수 있다. 그림 전체가 공백을 채우는 방법을 결정한다. 루헤만의 기법에는 유화와 템페라 회화의 품질을 보존하기 위한 절차가 포함된다.
디지털 인페인팅
많은 프로그램이 디지털 사진과 비디오의 손상되거나 누락된 영역을 재구성할 수 있다. 디지털 이미지에 가장 널리 알려진 것은 Adobe Photoshop이다. 디지털 카메라의 다양한 기능과 오래된 사진의 디지털화 덕분에 인페인팅은 자동화된 과정이 되었다. 기법은 객체 제거, 텍스트 제거, 이미지 및 비디오의 기타 자동 수정에 적용될 수 있다. 비디오 특수 효과에서 인페인팅은 일반적으로 비디오 매팅(video matting) 후에 수행된다. 또한 이미지 압축 및 초고해상도(super-resolution)와 같은 응용 분야에서도 사용된다. 사진 및 영화 분야에서는 균열, 긁힘, 먼지 얼룩과 같은 물리적 손상이나 화학적 손상과 같은 열화를 역전, 수리 또는 완화하기 위한 필름 복원에 사용되며, 적외선 세척을 포함할 수 있다. 또한 적목 현상, 스탬프 날짜, 로고 또는 워터마크를 제거하고, 예를 들어 스트리밍 비디오에서 코딩 및 전송 중 손실된 블록을 대체할 수 있다.
딥러닝 접근 방식
딥러닝 신경망 기반 인페인팅은 이미지 검열 해제(decensoring)에 사용될 수 있다. 훈련된 딥러닝 모델을 사용할 수 없거나 실행 불가능한 경우 딥 이미지 사전(deep image prior) 기반 기법을 사용할 수 있다. 텍스트-이미지 또는 텍스트-비디오와 같은 시각적 콘텐츠 생성을 위한 딥 모델은 시각적 콘텐츠 분포에 대한 복잡한 사전 지식을 학습하며 누락된 부분을 인페인팅하는 데 사용될 수 있다. 예를 들어, 비디오는 옴니매트(omnimatte)라는 기법을 사용하여 레이어로 분리할 수 있으며, 이는 옴니매트 모델을 사전 훈련하거나 훈련 없이 옴니매트-제로(omnimatte-zero) 모델을 사용한다.
문헌에는 2D 이미지 인페인팅 알고리즘의 세 가지 주요 그룹이 존재한다: 구조적(또는 기하학적) 인페인팅, 텍스처 인페인팅, 그리고 이 둘의 결합이다. 구조적 방법은 기하학적 정보 전파에 초점을 맞추는 반면, 텍스처 방법은 반복적인 패턴을 복제한다.
생성형 AI 및 프롬프팅에서의 사용
생성형 인공지능에서 인페인팅은 많은 대규모 언어 모델 기반 및 확산 기반 이미지 생성 시스템의 핵심 기능이다. 사용자는 마스킹되거나 선택된 영역에 대한 원하는 콘텐츠를 설명하는 프롬프트를 제공하며, 모델은 주변 이미지와 매끄럽게 혼합되는 픽셀을 생성한다. 이는 캔버스를 원래 경계 너머로 확장하는 아웃페인팅(outpainting)과는 구별된다. 인페인팅은 일반적으로 이미지 편집을 위한 모델을 호스팅하는 리플리케이트와 같은 플랫폼을 통해 제공되며, 오픈AI, 앤트로픽, 구글 딥마인드 연구 노력과 같은 회사의 도구에 통합되어 있다.
프롬프트 작성자의 경우 효과적인 인페인팅은 기존 이미지와 일치하도록 주제, 스타일, 조명, 원근감을 지정해야 한다. 모델은 종종 교차 주의 메커니즘을 사용하여 텍스트 프롬프트를 이미지 영역과 정렬하며, 탑-k 샘플링 또는 탑-p 샘플링과 같은 기법이 출력 다양성에 영향을 줄 수 있다. 이 과정은 일반적으로 마스킹된 이미지를 처리하고 채워진 영역을 생성하는 U-넷과 같은 인코더-디코더 아키텍처를 포함한다.
실용적 응용
인페인팅의 실용적 용도에는 역사적 사진 복원, 이미지에서 원치 않는 객체나 사람 제거, 손상된 필름 푸티지 수리, 광고 및 엔터테인먼트에서 매끄러운 합성 이미지 생성이 포함된다. 의료 영상에서 인페인팅은 스캔의 누락된 데이터를 채울 수 있다. 자율 주행에서는 훈련 데이터에서 장애물을 제거하여 모델 견고성을 향상시킬 수 있다. 이 기법은 또한 사운드 녹음의 공백을 채우기 위한 오디오 인페인팅에도 사용되지만, 이는 시각적 인페인팅과는 별개의 영역이다.
과제 및 한계
디지털 인페인팅의 과제에는 원본 이미지의 조명 및 텍스처와의 일관성 유지, 아티팩트 방지, 특히 다큐멘터리 또는 법의학적 맥락에서 생성된 콘텐츠가 허위 정보를 도입하지 않도록 보장하는 것이 포함된다. 딥러닝 모델은 원래 존재하지 않았던 세부 사항을 환각(hallucinate)할 수 있으며, 이는 물리적 보존과 유사한 윤리적 우려를 제기한다. 2020년대 초반 현재 모델은 복잡한 장면을 처리하는 데 계속 개선되고 있지만, 완벽한 재구성은 인공지능 연구에서 여전히 미해결 문제로 남아 있다.