BIG-Bench Hard（BBH）是从更大的BIG-Bench基准中精选出的23项任务子集，由谷歌及其他机构的研究人员于2022年提出。该子集的创建旨在聚焦于对大型语言模型而言特别具有挑战性的任务，具体而言，是那些参数少于120亿的模型表现不佳的任务。BBH旨在衡量模型处理复杂推理、多步问题解决以及需要超越简单模式匹配的更深层次理解的任务的能力。
该基准源于更广泛的BIG-Bench项目，该项目包含由来自130个机构的450多位研究人员贡献的200多项任务。BBH的选择过程涉及识别那些小模型与大模型之间性能差距显著的任务，以及人类评估者认为需要大量推理的任务。最终的23项任务涵盖了布尔表达式、因果判断、日期理解、歧义消除和几何形状等领域的问题。
任务选择与特征
BBH中的23项任务基于两个主要标准进行选择：它们必须是当时最佳可用模型得分低于特定阈值（具体而言，低于人类评估者的平均表现）的任务，并且它们必须是无法通过简单启发式方法轻松解决的任务。这一选择过程产生了一个比完整BIG-Bench套件明显更难的基准，当仅使用BBH进行评估时，模型的平均性能显著下降。
BBH中的每项任务都旨在测试特定的认知技能。例如，“布尔表达式”任务要求评估复杂的逻辑陈述，而“因果判断”则要求模型在假设情景中确定因果关系。其他任务包括“夸张法”（识别语法正确的句子）、“逻辑演绎”（解决多步逻辑谜题）和“单词排序”（在约束条件下按字母顺序排列单词）。
评估方法
BBH通常采用少样本提示方法进行评估，即模型在解决新问题前会获得少量示例（通常为三到五个）。该基准包含一套特定的提示和评估脚本，以标准化测试过程。在原始论文中，作者评估了包括谷歌和OpenAI在内的多个大型语言模型，发现即使是最大的模型在许多任务上也存在困难。
一个值得注意的发现是，使用思维链提示（即鼓励模型展示其推理步骤）显著提高了BBH任务上的表现。这一技术是与BBH同时开发的，它使模型能够将复杂问题分解为更小、更易管理的步骤。BBH与思维链提示的结合后来成为评估后续模型推理能力的标准方法。
影响与使用
BBH已成为Large language model研究社区中广泛使用的基准。它经常被引用在介绍新模型或训练技术的论文中，作为衡量模型超越简单语言理解的推理能力的指标。该基准对于追踪模型开发的进展特别有用，因为BBH分数的提升往往与其他推理密集型任务的改进相关。
包括OpenAI和Google DeepMind在内的几家主要AI研究组织已将BBH用作其内部评估套件的一部分。该基准也被整合到更广泛的评估框架中，例如HELM（语言模型整体评估）项目，该项目聚合多个基准以提供模型能力的全面视图。截至2025年，BBH仍然是比较不同模型架构和规模推理能力的标准参考点。
局限性与批评
尽管BBH广受欢迎，但它也面临一些批评。一些研究人员认为，该基准可能无法完全捕捉现实世界的推理，因为任务往往是抽象的，与实际应用脱节。其他人指出，模型有时可以通过记忆训练数据中的模式来“钻空子”，尽管BBH的作者采取了措施，通过使用在线不易获得的任务来尽量减少这种情况。
此外，该基准对英语任务的关注限制了其对多语言模型的适用性。虽然原始BIG-Bench包含一些多语言任务，但BBH完全使用英语，这可能对主要在其他语言上训练的模型不利。尽管存在这些局限性，BBH仍然是理解当前AI系统能力与局限性的宝贵工具。
相关基准与未来方向
BBH的开发启发了类似的工作，例如MMLU（大规模多任务语言理解）基准和ARC（AI2推理挑战）。这些基准与BBH一起，构成了一套测试，共同评估模型的知识、推理和问题解决能力。随着模型的不断改进，人们正在持续努力创建更具挑战性的基准，以区分表现最佳的系统。
未来的BBH迭代可能会纳入更多动态任务，即问题即时生成以防止记忆。此外，还有兴趣将BBH扩展到多模态推理，即模型必须整合文本、图像和其他数据类型的信息。这些发展可能会使BBH在Artificial intelligence领域持续演进的过程中保持其相关性。