多模态学习是一种深度学习，它整合并处理多种类型的数据（称为模态），例如文本、音频、图像或视频。这种整合能够更全面地理解复杂数据，从而提升模型在视觉问答、跨模态检索、文本到图像生成、美学排序和图像描述等任务中的性能。多模态学习于2011年提出，正值深度学习时代的开端。大型多模态模型，如Google Gemini和GPT-4o，自2023年以来日益流行，增强了模型的通用性，并使其能够更广泛地理解现实世界中的现象。
动机
数据通常以不同模态呈现，并携带不同信息。例如，为图像添加描述以传达图像本身未呈现的信息是很常见的。同样，有时使用图像来描述文本中可能不明显的信息更为直接。因此，如果相似的图像中出现不同的词语，那么这些词语很可能描述相同的事物。反之，如果一个词语被用来描述看似不相似的图像，那么这些图像可能代表相同的对象。因此，在处理多模态数据时，使用能够联合表示信息的模型至关重要，这样模型才能捕捉来自不同模态的合并信息。
多模态Transformer
现代多模态系统通常依赖于Transformer架构。诸如CLIP（对比语言-图像预训练）之类的模型通过优化对比目标来学习图像和文本的联合表示，使模型能够将图像与其对应的文本描述进行匹配。这些方法建立在大型语言模型和生成式AI的进步之上，像OpenAI的GPT-4o和Google DeepMind的Gemini等系统展示了在文本、图像和音频输入方面的能力。多头注意力和交叉注意力机制的整合使这些模型能够有效地跨模态对齐信息。
多模态深度玻尔兹曼机
玻尔兹曼机是一种由Geoffrey Hinton和Terry Sejnowski于1985年发明的随机神经网络。玻尔兹曼机可以被视为Hopfield网络的随机生成式对应物。它们以统计力学中的玻尔兹曼分布命名。玻尔兹曼机中的单元分为两组：可见单元和隐藏单元。每个单元就像一个神经元，具有二进制输出，表示其是否被激活。通用玻尔兹曼机允许任何单元之间进行连接。然而，使用通用玻尔兹曼机进行学习是不切实际的，因为计算时间随机器规模呈指数增长。一种更高效的架构称为受限玻尔兹曼机，其中仅允许隐藏单元和可见单元之间进行连接。
多模态深度玻尔兹曼机可以同时处理和学习不同类型的信息，例如图像和文本。这尤其可以通过为每种模态（例如一个用于图像，一个用于文本）设置单独的深度玻尔兹曼机，并在额外的顶部隐藏层将它们连接起来来实现。这些模型是最早的多模态学习方法之一，并且对于某些分类和缺失数据任务仍然具有相关性。
应用
多模态机器学习在各个领域有许多应用：
- 跨模态检索：跨模态检索允许用户跨不同模态搜索数据（例如，基于文本描述检索图像），从而改进多媒体搜索引擎和内容推荐系统。
- 分类和缺失数据检索：多模态深度玻尔兹曼机在分类任务中优于支持向量机和潜在狄利克雷分配等传统模型，并且可以预测多模态数据集（如图像和文本）中的缺失数据。
- 医疗诊断：多模态模型整合医学影像、基因组数据和患者记录，以提高诊断准确性和早期疾病检测，尤其是在癌症筛查中。
- 内容生成：像DALL-E这样的模型从文本描述生成图像，惠及创意产业，而跨模态检索则支持动态多媒体搜索。
- 机器人与人类-计算机交互：多模态学习通过整合语音、视觉和触觉等感官输入，改善机器人和AI中的交互，辅助自主系统和人类-计算机交互。
- 情感识别：结合视觉、音频和文本数据，多模态系统增强情感分析和情绪识别，应用于客户服务、社交媒体和营销。
- 代码搜索：结合源代码结构（例如，抽象语法树）与自然语言描述的多模态表示，改进针对给定查询检索相关代码片段的能力。源代码也可以被渲染为二维像素图像，例如，将方法的控制流图转换为黑白图像，并用卷积神经网络处理以搜索恶意软件。
挑战
多模态学习具有挑战性，因为不同模态可以以不同方式表示和结构化信息。两个常见的挑战是对齐（确定不同模态的哪些部分彼此对应）和融合（确定如何跨模态组合信息）。多模态学习的现实应用面临多模态AI特有的进一步挑战，包括当数据源不可用时的缺失模态、选择提供互补而非冗余信息的模态，以及组合数据源带来的隐私风险，这可能使得即使个体在每个数据源中都是匿名的，也能被重新识别。
未来方向
研究继续通过数据增强和更复杂的融合方法等技术来应对这些挑战。来自NVIDIA、AMD和Intel等公司的高效硬件开发支持了大型多模态模型的计算需求。截至2025年，多模态学习仍然是一个活跃的研究领域，其应用正在扩展到各个行业，从消费设备中的Apple和Samsung Electronics，到提供多模态AI服务的Amazon Web Services、Azure和Google Cloud等云提供商。