멀티모달 학습은 텍스트, 오디오, 이미지, 비디오와 같은 여러 유형의 데이터(모달리티)를 통합하고 처리하는 딥러닝의 한 유형이다. 이러한 통합은 복잡한 데이터에 대한 보다 총체적인 이해를 가능하게 하여, 시각적 질의 응답, 교차 모달 검색, 텍스트-이미지 생성, 미적 순위 매기기, 이미지 캡셔닝과 같은 작업에서 모델 성능을 향상시킨다. 멀티모달 학습은 딥러닝 시대가 시작된 2011년에 제안되었다. Google Gemini 및 GPT-4o와 같은 대규모 멀티모달 모델은 2023년 이후 increasingly 인기를 얻으며, 더 큰 다용성과 실제 세계 현상에 대한 더 넓은 이해를 가능하게 하고 있다.
동기
데이터는 일반적으로 서로 다른 정보를 담고 있는 여러 모달리티와 함께 제공된다. 예를 들어, 이미지 자체에 제시되지 않은 정보를 전달하기 위해 이미지에 캡션을 다는 것은 매우 흔한 일이다. 유사하게, 텍스트로는 명확하지 않을 수 있는 정보를 설명하기 위해 이미지를 사용하는 것이 더 간단할 때도 있다. 결과적으로, 유사한 이미지에 서로 다른 단어가 나타나면, 이 단어들은 동일한 대상을 설명할 가능성이 높다. 반대로, 겉보기에 다른 이미지들을 설명하는 데 단어가 사용된다면, 이 이미지들은 동일한 객체를 나타낼 수 있다. 따라서 다중 모달 데이터를 다루는 경우, 서로 다른 모달리티의 결합된 정보를 포착할 수 있도록 정보를 공동으로 표현할 수 있는 모델을 사용하는 것이 중요하다.
멀티모달 트랜스포머
현대의 멀티모달 시스템은 종종 트랜스포머 아키텍처에 의존한다. CLIP(대조 언어-이미지 사전 훈련)과 같은 모델은 대조적 목적 함수를 최적화하여 이미지와 텍스트의 공동 표현을 학습하며, 모델이 이미지를 해당 텍스트 설명과 일치시킬 수 있게 한다. 이러한 접근 방식은 대규모 언어 모델 및 생성형 AI의 발전을 기반으로 하며, OpenAI의 GPT-4o 및 Google DeepMind의 Gemini와 같은 시스템은 텍스트, 이미지, 오디오 입력 전반에 걸쳐 능력을 입증하고 있다. 멀티 헤드 어텐션 및 크로스 어텐션 메커니즘의 통합은 이러한 모델이 모달리티 간 정보를 효과적으로 정렬할 수 있게 한다.
멀티모달 심층 볼츠만 머신
볼츠만 머신은 1985년 Geoffrey Hinton과 Terry Sejnowski가 발명한 확률적 신경망의 한 유형이다. 볼츠만 머신은 Hopfield 네트워크의 확률적 생성 대응물로 볼 수 있다. 이들은 통계 역학의 볼츠만 분포에서 이름을 따왔다. 볼츠만 머신의 유닛은 가시 유닛과 은닉 유닛의 두 그룹으로 나뉜다. 각 유닛은 활성화 여부를 나타내는 이진 출력을 가진 뉴런과 같다. 일반 볼츠만 머신은 모든 유닛 간의 연결을 허용한다. 그러나 일반 볼츠만 머신을 사용한 학습은 계산 시간이 머신 크기에 지수적이므로 비실용적이다. 더 효율적인 아키텍처는 제한된 볼츠만 머신이라고 하며, 여기서는 은닉 유닛과 가시 유닛 사이에만 연결이 허용된다.
멀티모달 심층 볼츠만 머신은 이미지와 텍스트와 같은 서로 다른 유형의 정보를 동시에 처리하고 학습할 수 있다. 이는 각 모달리티에 대해 별도의 심층 볼츠만 머신을 두어, 예를 들어 이미지용 하나와 텍스트용 하나를 추가 상위 은닉 계층에서 결합함으로써 수행할 수 있다. 이러한 모델은 멀티모달 학습의 초기 접근 방식 중 하나였으며, 특정 분류 및 누락 데이터 작업에서 여전히 관련성이 있다.
응용 분야
멀티모달 머신 러닝은 다양한 영역에 걸쳐 수많은 응용 분야를 가지고 있다:
- 교차 모달 검색: 교차 모달 검색은 사용자가 서로 다른 모달리티 간에 데이터를 검색할 수 있게 하여(예: 텍스트 설명 기반 이미지 검색), 멀티미디어 검색 엔진과 콘텐츠 추천 시스템을 개선한다.
- 분류 및 누락 데이터 검색: 멀티모달 심층 볼츠만 머신은 분류 작업에서 서포트 벡터 머신 및 잠재 디리클레 할당과 같은 전통적인 모델보다 우수하며, 이미지와 텍스트와 같은 멀티모달 데이터 세트에서 누락된 데이터를 예측할 수 있다.
- 의료 진단: 멀티모달 모델은 의료 영상, 유전체 데이터, 환자 기록을 통합하여 진단 정확도와 조기 질병 발견을 개선하며, 특히 암 검진에서 효과적이다.
- 콘텐츠 생성: DALL-E와 같은 모델은 텍스트 설명에서 이미지를 생성하여 창의적인 산업에 이점을 제공하며, 교차 모달 검색은 동적 멀티미디어 검색을 가능하게 한다.
- 로봇 공학 및 인간-컴퓨터 상호 작용: 멀티모달 학습은 음성, 시각, 촉각과 같은 감각 입력을 통합하여 로봇 공학 및 AI의 상호 작용을 개선하며, 자율 시스템과 인간-컴퓨터 상호 작용을 돕는다.
- 감정 인식: 시각, 오디오, 텍스트 데이터를 결합하여 멀티모달 시스템은 감정 분석 및 감정 인식을 향상시키며, 고객 서비스, 소셜 미디어, 마케팅에 적용된다.
- 코드 검색: 소스 코드 구조(예: 추상 구문 트리)와 자연어 설명을 결합한 멀티모달 표현은 주어진 쿼리에 대한 관련 코드 조각 검색을 개선한다. 소스 코드는 또한 2차원 픽셀 이미지로 렌더링될 수 있으며, 예를 들어 메서드의 제어 흐름 그래프를 흑백 이미지로 변환하여 합성곱 신경망으로 처리해 악성 코드를 검색하는 데 사용된다.
과제
멀티모달 학습은 서로 다른 모달리티가 정보를 다양한 방식으로 표현하고 구조화할 수 있기 때문에 어렵다. 두 가지 일반적인 과제는 정렬(서로 다른 모달리티의 어떤 부분이 서로 대응하는지 결정)과 융합(모달리티 간 정보를 어떻게 결합해야 하는지 결정)이다. 멀티모달 학습의 실제 응용은 멀티모달 AI에 특화된 추가 과제에 직면한다. 여기에는 데이터 소스를 사용할 수 없을 때의 누락 모달리티, 중복이 아닌 상호 보완적인 정보를 제공하는 모달리티 선택, 그리고 각 소스에서 개별적으로 익명이더라도 데이터 소스를 결합하면 개인을 재식별할 수 있게 하는 개인 정보 보호 위험이 포함된다.
미래 방향
연구는 데이터 증강 및 더 정교한 융합 방법과 같은 기술을 통해 이러한 과제를 해결하는 데 계속 초점을 맞추고 있다. NVIDIA, AMD, Intel과 같은 회사의 효율적인 하드웨어 개발은 대규모 멀티모달 모델의 계산 요구를 지원한다. 2025년 현재, 멀티모달 학습은 활발한 연구 영역으로 남아 있으며, Apple 및 Samsung Electronics의 소비자 기기부터 Amazon Web Services, Azure, Google Cloud와 같은 클라우드 제공업체가 멀티모달 AI 서비스를 제공하는 것에 이르기까지 산업 전반으로 응용이 확장되고 있다.