멀티모달 AI는 특히 현대의 파운데이션 모델에서 텍스트, 이미지, 오디오, 비디오 등 여러 유형의 데이터를 하나의 모델 내에서 수용하고 처리하며 생성할 수 있는 머신러닝 시스템을 설명한다. 이는 별도의 특화된 시스템을 단순히 결합하는 방식과는 대조적이다. 이 용어는 텍스트 전용 대규모 언어 모델이나 이미지 전용 합성곱 신경망 분류기와 같은 단일 입력·출력 유형만 처리하는 초기의 단일모달 시스템과 대비된다.
역사
멀티모달 연구는 현재의 모델보다 앞서 시작되었다. 초기 연구는 컴퓨터 비전과 자연어 처리를 결합하여 이미지 캡셔닝이나 시각적 질의응답과 같은 작업을 수행했으며, 별도의 인코더를 작은 연결 네트워크로 연결하는 방식을 사용했다. 중요한 전환점은 2021년 OpenAI의 CLIP이었다. CLIP은 대조 사전학습을 통해 이미지와 텍스트를 공유 임베딩 공간에 매핑함으로써, 작업별 레이블 없이도 시각적 개념과 언어적 개념을 연관 지을 수 있게 했다. CLIP 스타일의 임베딩은 이후 텍스트-이미지 생성 시스템의 기반이 되었으며, 확산 기반 생성 과정을 안내하는 데 활용되었다.
통합 모델로의 전환
2023년과 2024년에 걸쳐 주요 연구 기관들은 텍스트 모델에 비전 인코더를 단순히 부착하는 방식에서 벗어나, 처음부터 텍스트, 이미지, 오디오, 때로는 비디오 데이터를 함께 학습한 진정한 통합 트랜스포머 아키텍처로 전환했다. Google의 Gemini는 "본래 멀티모달"이라고 설명되며, OpenAI의 GPT-4o도 이러한 변화를 보여주는 사례다. 이들 모델은 별도의 하위 모델 간 라우팅 없이 하나의 모델 내에서 여러 양식을 처리하고 생성한다. 이를 통해 실시간 음성 대화와 시각적 이해를 결합하거나, 이미지와 함께 제공된 텍스트를 함께 추론해야 하는 질문에 답하는 등의 기능이 가능해졌다.
아키텍처
멀티모달 모델은 일반적으로 각 양식을 토큰화하거나 임베딩하여 트랜스포머 백본이 균일하게 처리할 수 있는 공유 표현 공간으로 변환한다. 이미지나 오디오의 경우 양식별 인코더를 사용하기도 하며, 이들의 출력은 텍스트 임베딩과 동일한 차원으로 투영된다. 출력 측면에서도 모델은 텍스트를 생성하거나, 확산 기반 이미지 디코더에 생성을 위임할 수 있다. Google의 나노 바나나 이미지 편집기가 이러한 방식의 사례다. 핵심인 어텐션 메커니즘은 모델이 서로 다른 양식의 토큰 간 관계를 학습하게 하여, 예를 들어 텍스트 설명을 특정 이미지 영역에 근거시키는 것이 가능하다.
응용 분야
멀티모달 AI는 다양한 분야에서 활용된다. 문서 이해에서는 OCR과 유사한 방식으로 문서 내 텍스트를 읽으면서 레이아웃과 이미지 맥락을 함께 파악한다. 접근성 도구는 이미지를 음성으로 설명하는 기능을 제공한다. 비디오 질의응답, 시각적 인식과 언어 지시를 결합한 로보틱스, 그리고 카메라로 촬영한 사진이나 화면을 해석하는 소비자용 어시스턴트 등이 대표적이다. 비전-언어 모델은 이미지와 텍스트의 결합 이해에 특화된 주요 하위 범주이며, 멀티모달 AI는 오디오와 비디오까지 포함하는 더 넓은 범위를 아우른다.
평가와 한계
멀티모달 시스템의 평가는 차트, 다이어그램, 비디오 시퀀스에 대한 질문 등 양식 간 추론 능력을 시험하는 벤치마크를 통해 이루어진다. 그러나 현재 성능은 정밀한 공간 추론, 물체 개수 세기, 이미지 내 밀집된 작은 텍스트 읽기와 같은 작업에서 인간의 능력에 여전히 미치지 못한다. 또한 모델은 이미지에 존재하지 않는 세부 내용을 환각으로 생성할 수 있으며, 양식을 결합할수록 악성 지시를 이미지나 오디오 클립에 숨기는 프롬프트 주입 공격의 표면이 넓어진다는 보안 취약점도 존재한다.