CoDi(Composable Diffusion의 약자)는 생성형 인공지능 모델로, 마이크로소프트 리서치에서 개발했으며 텍스트, 이미지, 오디오, 비디오 등 여러 양식을 단일 통합 프레임워크에서 처리하고 생성할 수 있다. 각 데이터 유형에 대해 별도의 모델에 의존했던 초기 다중 양식 시스템과 달리, CoDi는 구성 가능한 확산 접근 방식을 사용하여 이러한 양식의 모든 조합을 동시에 생성할 수 있다. 예를 들어 단일 프롬프트에서 동기화된 오디오와 텍스트 캡션이 포함된 비디오를 생성할 수 있다. 이 모델은 2023년 연구 논문에서 소개되었으며, 보다 통합된 다중 양식 AI 시스템으로 나아가는 한 단계를 대표한다.
CoDi는 확산 모델의 성공을 기반으로 구축되었으며, 이는 기계 학습 알고리즘의 한 부류로 무작위 노이즈를 반복적으로 정제하여 구조화된 출력을 생성한다. 핵심 혁신은 여러 양식별 확산 프로세스를 단일 모델로 결합하여 훈련 중에 모든 양식이 존재하지 않아도 교차 양식 생성을 가능하게 한다는 점이다. 이는 모든 양식에 걸쳐 쌍을 이루는 데이터가 필요했던 이전 접근 방식보다 시스템을 더 유연하고 효율적으로 만든다.
아키텍처 및 설계
CoDi 아키텍처는 여러 핵심 구성 요소로 이루어져 있다. 핵심에는 서로 다른 양식이 연속 벡터로 표현되는 공유 잠재 공간이 있다. 각 양식에는 자체 인코더와 디코더가 있지만, 이들은 구성 가능한 확산 프레임워크를 통해 연결되어 모델이 모든 조합으로 출력을 생성할 수 있게 한다. 모델은 트랜스포머 기반 백본을 교차 양식 주의에 사용하여 텍스트, 이미지, 오디오, 비디오 도메인 간의 표현을 정렬할 수 있다.
주목할 만한 특징은 훈련 중 "브리징" 메커니즘의 사용이다. 네 가지 양식 모두에 걸친 쌍을 이루는 데이터가 부족하기 때문에 CoDi는 단계적으로 훈련된다. 먼저 개별 양식 쌍(예: 텍스트-이미지, 텍스트-오디오)으로 시작하고, 그 다음 세 쌍, 마지막으로 모든 조합으로 진행한다. 이 단계적 훈련을 통해 완전한 다중 양식 데이터 세트를 사용할 수 없는 경우에도 모델이 교차 양식 관계를 학습할 수 있다.
기능 및 응용 분야
CoDi는 다양한 생성 작업을 수행할 수 있다. 예를 들어 장면을 설명하는 텍스트 프롬프트가 주어지면 동기화된 오디오와 일치하는 텍스트 설명이 포함된 비디오를 생성할 수 있다. 또한 의미적 내용을 유지하면서 이미지 스타일을 변경하거나 비디오의 시각적 동작과 일치하는 음향 효과를 생성하는 등 기존 콘텐츠를 양식 간에 편집할 수도 있다.
모델의 구성 가능한 특성은 사용자가 모든 양식 하위 집합에 대해 생성을 조건화할 수 있게 한다. 이러한 유연성은 콘텐츠 제작, 접근성 도구(예: 이미지에 대한 오디오 설명 생성), 대화형 미디어 제작에 잠재적 응용 가능성이 있다. 연구자들은 CoDi가 생성된 텍스트, 시각 자료, 오디오 간의 의미적 일관성을 유지하면서 양식 간에 일관된 출력을 생성할 수 있음을 입증했다.
훈련 및 데이터
CoDi는 LAION-5B와 같은 소스의 이미지-텍스트 쌍, 오디오-텍스트 쌍, 비디오-텍스트 데이터 세트를 포함한 공개 데이터 세트로 훈련되었다. 단계적 훈련 접근 방식은 모델이 더 복잡한 다중 양식 조합으로 진행하기 전에 먼저 더 간단한 쌍별 정렬을 학습하는 신중한 커리큘럼 설계를 요구했다. 연구자들은 인코더와 디코더를 훈련하기 위해 대조 학습과 확산 목표의 조합을 사용했다.
훈련에서 해결된 한 가지 과제는 양식 간 데이터 가용성의 불균형이었다. 텍스트와 이미지 데이터는 풍부하지만 고품질의 비디오-오디오-텍스트 세 쌍은 더 드물다. CoDi의 구성 가능한 설계는 모델이 쌍별 데이터를 활용하여 보지 못한 양식 조합으로 일반화할 수 있게 함으로써 이를 완화한다.
수용 및 영향
CoDi는 2023년 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 발표되었으며 다중 양식 생성에 대한 통합 접근 방식으로 주목을 받았다. 이는 단일 프레임워크에서 네 가지 주요 콘텐츠 유형을 동시에 생성하는 것을 입증한 최초의 모델 중 하나였으며, 이후 다중 양식 학습 및 기반 모델에 대한 연구에 영향을 미쳤다.
CoDi는 주로 연구 프로토타입이었고 상용 제품으로 출시되지는 않았지만, 그 아이디어는 OpenAI와 구글 딥마인드의 노력을 포함한 이후의 통합 다중 양식 모델 작업에 영향을 주었다. 모델의 구성 가능성과 단계적 훈련에 대한 강조는 효율적인 다중 양식 AI를 탐구하는 다른 연구 그룹에 의해 다양한 형태로 채택되었다.
한계
CoDi에는 여러 가지 한계가 있다. 출력 해상도와 품질, 특히 비디오의 경우 전문화된 단일 양식 모델보다 낮다. 모델은 긴 형식의 콘텐츠와 확장된 시퀀스에서 일관성을 유지하는 데 어려움을 겪을 수 있다. 또한 확산에 의존하기 때문에 생성은 계산 집약적이며 상당한 GPU 리소스가 필요하다. 단계적 훈련 접근 방식은 또한 드문 양식 조합에서의 성능이 일반적인 쌍보다 덜 견고할 수 있음을 의미한다.
윤리적 고려 사항에는 합성 미디어 생성에 대한 오용 가능성이 포함된다. 다른 생성 모델과 마찬가지로 딥페이크와 잘못된 정보에 대한 우려가 있지만, CoDi의 연구 상태는 직접적인 배포를 제한했다.
같이 보기
참고 문헌
- Tang, Z., et al. (2023). CoDi: Composable Diffusion for Real-World Image and Video Generation. CVPR.
- 마이크로소프트 리서치 블로그 게시물 및 CoDi에 대한 기술 문서.