MBPP，即“Mostly Basic Python Problems”的缩写，是一个旨在评估大型语言模型代码生成能力的基准数据集。它包含974个由众包收集的Python编程问题，针对基础编程技能，如基本语法、字符串操作、循环和算术运算。该基准在人工智能领域被广泛使用，用于衡量模型将自然语言问题描述转化为可执行Python代码的能力。
该数据集由Google Research的一个研究团队于2021年推出，成员包括Jacob Austin、Augustus Odena、Maxwell Nye等人。它在论文《Program Synthesis with Large Language Models》中提出，该论文还介绍了相关的APPS基准。MBPP的创建旨在提供一个比现有基准更易访问且更聚焦的评估集，因为现有基准通常需要解决复杂的算法挑战或涉及冗长的问题陈述。
MBPP中的每个问题包含一个自然语言描述、一个函数签名以及若干用于验证生成代码正确性的测试用例。这些问题设计为可由具有几个月Python经验的程序员解决，使该基准适合评估基础编程能力。数据集分为训练集（374个问题）、验证集（90个问题）和测试集（500个问题）。测试集进一步分为两个子集：一个用于评估单次尝试的模型（pass@1），另一个用于评估多次尝试的模型（pass@k）。
评估方法
MBPP使用的主要指标是pass@k，它衡量在k个生成的代码样本中至少有一个通过所有提供的测试用例的概率。该指标考虑了语言模型采样的随机性。例如，pass@1表示单个生成解决方案正确的可能性，而pass@80衡量80个样本中至少有一个成功的概率。评估过程包括根据问题描述从模型生成代码补全，然后对每个补全运行测试用例。
为确保公平性，该基准提供了一组规范解决方案和测试用例。模型通常在少样本设置下进行评估，即在提示中包含少量示例问题以引导模型的输出格式。原始论文报告了多个模型的结果，包括GPT-Neo、GPT-3和GPT-2的微调版本，pass@1得分根据模型大小和训练数据的不同，范围从3%到37%。
在AI研究中的意义
MBPP已成为代码生成任务的标准基准，与HumanEval和APPS等其他数据集并列。其专注于基础问题，使其特别适用于评估未专门针对代码训练的模型，因为它测试了通用推理和编程知识。该基准已被众多研究团队采用，并在关于机器学习和深度学习的论文中频繁引用。
MBPP的一个关键优势是其简单性，允许快速且可复现的评估。这使其成为比较不同模型性能的热门选择，包括由OpenAI、Anthropic和其他组织开发的模型。该基准还用于研究训练数据规模、模型架构和微调策略对代码生成能力的影响。
局限性与批评
尽管被广泛使用，MBPP仍存在若干局限性。这些问题相对简单，可能无法反映真实世界编程任务的复杂性。此外，测试用例并非详尽无遗，因此通过所有测试的解决方案仍可能包含错误或在基准未覆盖的边缘情况下失败。一些研究人员指出，由于问题公开可用，模型可能通过记忆训练数据中的解决方案来操纵基准。
另一个批评是，该基准主要关注功能正确性，而不评估代码质量的其他方面，如可读性、效率或风格。这引发了呼吁，要求开发更全面的基准以纳入这些因素。尽管如此，MBPP仍然是代码生成模型初步评估的宝贵工具。
应用与扩展
MBPP已被用于学术研究之外的多种应用。例如，它被用于评估商业AI助手（如GitHub Copilot和其他基于Transformer架构的工具）的代码生成能力。该基准还被扩展或改编用于特定目的，如测试多语言代码生成或评估模型在更具挑战性的问题集上的表现。
此外，MBPP启发了其他编程语言和领域类似基准的创建。例如，MBXP数据集将MBPP扩展到多种语言，而其他基准则专注于数据科学或Web开发等特定领域。这些扩展有助于拓宽代码生成评估的范围，并为AI系统提供更多样化的挑战。
未来方向
随着生成式AI的持续进步，像MBPP这样的基准可能会随之演变，以跟上新能力的发展。未来版本可能包含更复杂的问题，融入真实世界的编程场景，或引入超越正确性来评估代码质量的指标。研究人员还在探索使基准对数据污染更具鲁棒性的方法，并确保其准确反映模型在实际环境中的能力。
MBPP及类似基准的持续发展对于人工智能在软件工程领域的进步至关重要。通过提供标准化的评估方法，这些基准能够实现模型之间的公平比较，并推动代码生成技术的改进。截至2025年，MBPP仍是该领域引用最多的基准之一，其影响力可能会持续多年。