텍스트-이미지 생성은 자연어 설명 또는 프롬프트를 받아 해당하는 이미지를 생성하는 AI 시스템을 의미한다. 이 작업은 텍스트를 해석하기 위한 자연어 처리와 픽셀을 렌더링하기 위한 컴퓨터 비전 및 생성 모델링을 결합하며, 생성적 적대 신경망과 이후 확산 모델의 가장 가시적인 응용 사례 중 하나가 되었다.
역사
2010년대 초기 시도는 텍스트 임베딩에 조건화된 GAN을 사용하여 새나 꽃과 같은 좁은 영역에 국한된 작고 흐릿한 이미지를 생성했다. 이 분야는 2021년 1월 OpenAI의 달리가 이미지 토큰에 대해 자기회귀적으로 훈련된 트랜스포머를 적용하면서 변화했고, 같은 해 말 클립이 등장하여 연구자들이 이미지가 캡션과 얼마나 잘 일치하는지 점수를 매기고 그 방향으로 생성을 유도할 수 있는 방법을 제공했다. 진정한 돌파구는 확산 모델로의 전환이었다: DALL-E 2(2022), Google의 Imagen, 특히 2022년 8월 오픈소스로 공개된 스테이블 디퓨전은 고품질 생성을 빠르게 만들었고, 스테이블 디퓨전의 경우 소비자용 GPU에서 실행 가능하게 했다. Discord를 통해 접근 가능한 미드저니는 동일한 핵심 기술을 기반으로 독특한 미학 중심 제품을 구축했으며, 2024년 블랙 포레스트 랩스가 출시한 플럭스는 새로운 오픈 가중치 표준이 되었다.
작동 방식
대부분의 현대 시스템은 잠재 확산 모델을 기반으로 한다: 이미지는 오토인코더에 의해 컴팩트한 잠재 공간으로 압축되고, 텍스트 인코더는 프롬프트를 임베딩으로 변환하며, 노이즈 제거 네트워크는 해당 임베딩에 의해 안내된 무작위 노이즈를 점진적으로 잠재 이미지로 변환한 다음 픽셀로 디코딩한다. 분류기 없는 안내와 같은 기술은 사용자가 프롬프트에 대한 충실도와 이미지 다양성 사이에서 절충할 수 있게 한다. 2023년에 도입된 컨트롤넷은 텍스트 외에도 스케치, 포즈 또는 깊이 맵에 조건화된 생성을 가능하게 하여 구도에 대한 더 세밀한 제어를 제공했다.
프롬프트 문화와 도구
출력 품질이 문구에 민감하기 때문에 주제 설명, 예술적 스타일, 카메라 및 조명 용어, 원치 않는 요소를 배제하기 위한 네거티브 프롬프트를 포함하는 효과적인 프롬프트 작성에 대한 비공식적 기술 체계가 성장했으며, 이는 이후 프롬프트 엔지니어링이라고 불리게 될 것의 초기 사례였다. Discord와 Reddit의 커뮤니티는 프롬프트 공식을 공유했고, 업스케일링, 인페인팅 및 출력 결합을 위한 보조 도구가 등장했다. 로라 어댑터는 적은 수의 예제 이미지와 적당한 계산 비용으로 특정 캐릭터, 스타일 또는 객체에 대해 기본 모델을 미세 조정하는 것을 실용적으로 만들었다.
수용과 비판
텍스트-이미지 도구는 광고, 컨셉 아트 및 게임 디자인에서 빠른 상업적 채택을 이끌었지만, 지속적인 논란도 함께 따랐다. 예술가들은 동의나 보상 없이 수집된 이미지로 훈련된 모델에 반대했으며, 이는 더 넓은 AI 저작권 분쟁과 여러 이미지 생성 회사에 대한 소송으로 이어졌다. 비평가들은 또한 딥페이크, 비동의 이미지, 그리고 저품질 합성 출력으로 스톡 이미지 및 소셜 플랫폼이 범람하는 현상에 대해 우려를 제기했으며, 이는 이후 AI 슬롭으로 불리게 되었다. 연구소들은 콘텐츠 필터, 출처 메타데이터 및 일부 경우 AI 워터마킹 시스템으로 대응했지만, 생태계 전반에 걸쳐 시행은 여전히 일관되지 않다.
이후 발전
2025년까지 주요 모델은 더 길고 구성적인 프롬프트를 따르고, 이미지 내에서 읽을 수 있는 텍스트를 렌더링하며, 자연어 지시를 통해 기존 사진을 편집할 수 있게 되어 텍스트-이미지 생성과 범용 이미지 편집 사이의 격차를 좁혔다.