模型无关元学习（MAML）是一种用于少样本元学习的算法，由Chelsea Finn、Pieter Abbeel和Sergey Levine于2017年在加州大学伯克利分校提出。该算法旨在基于任务分布训练模型，使其仅需少量梯度更新和少量训练数据即可适应新任务。术语“模型无关”指的是该算法与任何通过梯度下降训练的模型兼容，包括神经网络和其他可微架构，且无需针对特定任务进行架构修改。
MAML的核心原理是学习一组模型参数的初始化，该初始化可作为快速适应的良好起点。MAML并非学习一个在所有任务上表现良好的单一模型，而是学习一种元初始化，从该初始化出发，对新任务数据进行几步梯度更新即可得到针对该任务特化的模型。这与标准的机器学习方法（优化固定数据集上的性能）以及迁移学习方法（通常需要更广泛的微调）形成对比。
算法概述
MAML算法涉及一个双层优化过程：内循环和外循环。在内循环中，对于从任务分布中采样的每个任务，模型在任务的训练集（支持集）上执行一步或多步梯度下降，生成任务特定参数。在外循环中，元目标是最小化这些适应参数在任务验证集（查询集）上的损失，梯度通过内循环更新计算。这种双层优化使模型能够学习对任务特定变化敏感的参数，即参数空间中的微小扰动会导致任务性能的显著提升。
元目标可以表示为在固定数量的内梯度步骤后，任务损失之和的最小化。对于参数为θ的模型、损失函数为L_T的任务T以及k个内步骤，元损失为Σ_T L_T(θ - α ∇L_T(θ))（当k=1时），其中α是内学习率。外更新使用元学习率β来调整θ。该公式需要计算二阶导数，尽管一阶近似（FOMAML）常被用于降低计算成本，因为经验上其表现几乎相同。
在少样本学习中的应用
MAML已被广泛应用于少样本分类、回归和强化学习问题。在少样本图像分类中，例如在Omniglot和Mini-ImageNet基准上，MAML仅用每类一到五个样本即可达到具有竞争力的准确率。例如，在Mini-ImageNet上，使用卷积神经网络骨干的MAML在5-way 1-shot任务中达到约48.7%的准确率，在5-way 5-shot任务中达到63.1%，如原始论文所报告。这些结果表明，学习如何学习可以匹配或超越先前的基于度量的元学习方法。
在强化学习中，MAML已被用于使智能体能够快速适应新环境或奖励函数。该算法的模型无关特性使其能够应用于策略梯度方法，在模拟机器人控制任务中实现快速适应，例如双臂到达和运动任务，智能体基于新动态通过几步梯度更新学习调整其策略。
扩展与变体
已提出多种扩展来解决MAML的局限性，特别是其计算成本和对任务分布的敏感性。Reptile由Alex Nichol、Joshua Achiam和John Schulman于2018年提出，通过执行多个内梯度步骤然后将元参数移向最终适应参数来简化MAML，完全避免二阶导数。另一个变体Meta-SGD同时学习初始化和每个参数的学习率，提供更多灵活性。概率MAML（PMAML）将参数初始化建模为分布，以处理任务适应中的不确定性。
MAML也已与Transformer架构和大型语言模型结合，用于少样本提示和上下文学习，尽管这些模型通常依赖自身的元学习能力。该算法的原理已更广泛地影响人工智能研究，包括斯坦福人工智能实验室和伯克利人工智能研究等机构的工作。
理论与实际考量
MAML的理论基础与学习参数空间上的良好先验有关。该算法隐含假设任务分布中的任务共享某些共同结构，使得单一初始化能够有效。然而，当任务分布较窄时，MAML可能面临元过拟合等问题，并且可能需要仔细调整内学习率和外学习率等超参数。通过内循环反向传播的计算成本可能很高，尤其是在内步骤较多时，尽管一阶近似可缓解这一问题。
在实践中，MAML已在流行的深度学习框架中实现，并成为元学习研究中的标准基线。其模型无关特性意味着它可以应用于任何可微模型，包括用于生成式人工智能和其他领域的模型。截至2020年代初，MAML仍是少样本学习中的基础算法，持续研究探索其与贝叶斯推断和持续学习的联系。
影响与遗产
MAML对元学习领域产生了重大影响，启发了大量后续工作，并成为比较新算法的参考点。其引入帮助普及了通过基于梯度的优化进行学习如何学习的思想，区别于基于记忆或基于度量的方法。该算法的成功促使其在各类实际应用中被采用，包括医疗保健和机器人领域的个性化机器学习模型，其中快速适应新条件至关重要。卡内基梅隆大学和MIT CSAIL等机构的研究人员基于MAML进行了扩展，它继续成为人工智能研究更广泛背景下的活跃研究主题。