DALL-E 1은 DALL·E로 표기되기도 하며, OpenAI가 개발한 최초 버전의 텍스트-이미지 모델이다. 2021년 1월에 발표되었으며, 자연어 설명(프롬프트)으로부터 디지털 이미지를 생성하기 위해 딥러닝 방법론을 사용한다. 이름은 픽사의 로봇 캐릭터 WALL-E와 스페인 초현실주의 화가 살바도르 달리의 합성어이다.
DALL-E 1은 생성형 인공지능의 이정표였으며, 트랜스포머 기반 모델이 텍스트 설명으로부터 일관되고 다양한 이미지를 생성할 수 있음을 입증했다. 이후 2022년 DALL-E 2, 2023년 DALL-E 3로 이어졌으며, 각 버전은 사실성, 해상도, 프롬프트 이해도를 개선했다.
역사 및 배경
OpenAI는 2021년 1월 5일 블로그 게시물을 통해 DALL-E 1을 공개했다. 이 모델은 1,750억 개의 매개변수를 가진 대규모 언어 모델인 GPT-3의 수정 버전을 사용하여 이미지를 생성했다. 모델은 인터넷에서 수집된 4억 개의 이미지-텍스트 쌍으로 훈련된 별도의 모델인 CLIP(대조 언어-이미지 사전 훈련)과 함께 개발되었다. CLIP의 역할은 32,768개의 무작위로 선택된 캡션 목록 중 어떤 캡션이 이미지에 가장 적합한지 예측하여 DALL-E의 출력을 순위화하고, 최상의 결과를 필터링하는 데 도움을 주는 것이었다.
DALL-E 1의 출시는 생성형 AI의 역량과 영향에 대한 대중의 큰 관심과 논의를 불러일으켰다. 이 모델은 즉시 널리 공개되지 않았으며, 윤리적 및 안전상의 우려로 인해 초기 접근은 연구 미리보기로 제한되었다. 후속 모델인 DALL-E 2는 2022년 7월 베타 버전에 들어갔고, 2022년 9월 모든 사용자에게 공개되었다.
기술
DALL-E 1은 세 가지 구성 요소로 이루어져 있었다: 이산 변분 오토인코더(VAE), 120억 개의 매개변수를 가진 자기회귀 디코더 전용 트랜스포머 모델, 그리고 이미지 및 텍스트 인코더로 구성된 CLIP 쌍이다. 트랜스포머는 이미지 데이터를 직접 처리하지 않았기 때문에, 이산 VAE는 이미지를 토큰 시퀀스로 변환하고 다시 이미지로 변환하는 역할을 했다.
트랜스포머의 입력은 토큰화된 이미지 캡션 시퀀스와 그 뒤에 이어지는 토큰화된 이미지 패치 시퀀스였다. 캡션은 영어였으며, 어휘 크기 16,384의 바이트 쌍 인코딩으로 토큰화되었고 최대 256개 토큰 길이일 수 있었다. 각 이미지는 256×256 RGB 이미지로, 4×4 픽셀의 32×32 패치로 나뉘었다. 각 패치는 이산 VAE에 의해 8,192개의 어휘에서 토큰으로 변환되었다.
이 아키텍처는 GPT-3와 유사했지만 이미지 생성에 맞게 조정되었다. 자기회귀 모델은 텍스트 캡션을 조건으로 이미지 토큰을 순차적으로 예측했다. 대조 학습에 기반한 CLIP은 모델이 생성한 더 큰 이미지 세트에서 최상의 이미지를 순위화하고 선택하는 데 사용되었다.
역량
DALL-E 1은 사실적인 이미지, 그림, 이모지 등 여러 스타일의 이미지를 생성할 수 있었다. 또한 이미지 속 객체를 "조작하고 재배열"할 수 있었으며, 명시적인 지시 없이도 새로운 구성에서 디자인 요소를 올바르게 배치할 수 있었다. 예를 들어, 무를 그려 달라는 요청에 콧물을 닦거나, 라테를 마시거나, 외발자전거를 타는 모습을 그릴 때, 손수건, 손, 발을 그럴듯한 위치에 자주 그렸다.
이 모델은 특정 프롬프트 없이도 적절한 세부 사항을 추론하는 "빈칸 채우기" 능력을 보여주었으며, 예를 들어 크리스마스와 흔히 연관되는 프롬프트에 크리스마스 이미지를 추가하고 그림자를 적절히 배치했다. 또한 시각적 및 디자인 트렌드에 대한 폭넓은 이해를 보여주었다.
DALL-E 1은 다양한 관점에서 임의의 설명에 대한 이미지를 생성할 수 있었으며, 실패는 드물었다. 조지아 공과대학 인터랙티브 컴퓨팅 학부의 부교수인 마크 리들(Mark Riedl)은 이 모델이 인간 창의성의 핵심 요소인 개념을 혼합할 수 있다는 것을 발견했다. 또한 인간 지능을 측정하는 데 자주 사용되는 시각적 테스트인 레이븐 행렬을 해결할 수 있을 만큼 충분한 시각적 추론 능력을 갖추고 있었다.
영향 및 유산
DALL-E 1은 텍스트-이미지 생성을 대중화하고 생성형 AI 분야의 추가 연구를 촉진하는 데 기여했다. 이후 35억 개의 매개변수를 가진 확산 모델을 사용한 DALL-E 2와 2023년 10월 ChatGPT에 통합된 DALL-E 3가 뒤를 이었다. 마이크로소프트는 DALL-E 3를 Bing의 이미지 크리에이터 및 디자이너 앱에 구현했으며, Copilot도 이를 기반으로 실행된다. 2025년 3월, DALL-E 3는 ChatGPT에서 GPT Image의 네이티브 이미지 생성 기능으로 대체되었다.
OpenAI는 2024년 2월부터 C2PA(콘텐츠 출처 및 진위성 연합) 표준의 메타데이터를 사용하여 DALL-E 생성 이미지에 워터마크를 추가하기 시작했다. DALL-E 1의 출시는 인공지능 및 머신러닝 발전에 중요한 단계였으며, 이후 모델과 애플리케이션에 영향을 미쳤다.