BIG-Bench Hard（BBH）是一个用于评估大型语言模型在复杂推理任务上表现的基准。它于2022年由来自Google DeepMind、OpenAI及其他机构的研究人员提出，作为更广泛的BIG-bench基准的一个子集。BBH聚焦于23项任务，在这些任务中，人类的表现显著优于当时最先进的模型，从而提供了对模型能力超越简单模式识别的更有针对性的评估。
该基准的创建是为了满足人工智能研究中对更具挑战性评估集的需求。虽然BIG-bench包含超过200项任务，但许多任务对最先进的模型来说过于简单，导致性能饱和。BBH选取了需要多步推理、常识理解和领域特定知识的任务，使其成为衡量机器学习进展的宝贵工具。
任务选择与组成
BBH中的23项任务是根据特定标准从原始BIG-bench套件中选出的：即平均人类表现显著超过最佳模型表现的任务。这些任务涵盖多个领域，包括逻辑谜题、数学推理、因果判断和语言理解。示例包括布尔表达式、因果判断、日期理解、歧义消解和几何形状。
每项任务都格式化为多项选择或自由形式的问题，并配有标准提示模板以确保跨模型的一致性。这些任务设计为无需专门训练即可由人类解决，但需要仔细推理，且通常涉及多个步骤。这使得BBH在评估基于Transformer模型的推理能力方面特别有用。
评估方法
BBH通常通过向模型提供任务说明和少量示例（少样本学习）来评估。标准评估使用思维链提示技术，即鼓励模型在给出最终答案前生成中间推理步骤。这种方法已被证明能显著提高BBH任务上的表现，尤其是对于较大的模型。
结果以准确率百分比报告，人类表现作为基线。在原始论文中，最佳模型（PaLM 540B）通过思维链提示达到了65.2%的准确率，而人类评分者为71.2%。这一差距凸显了当代模型的局限性，并推动了关于推理能力的进一步研究。
影响与使用
BBH已成为生成式AI社区的标准基准，被学术和工业研究团队广泛使用。它通常与MMLU和HellaSwag等其他基准一起纳入模型评估套件。许多神经网络架构，包括深度学习模型，都通过BBH来测试其推理能力。
该基准还影响了新技术的发展，例如基于AI反馈的强化学习和课程学习，这些技术旨在提高复杂推理任务上的表现。BBH在研究论文中被频繁引用，并作为BIG-bench仓库的一部分提供，便于研究社区轻松访问。
局限性与批评
尽管被广泛使用，BBH仍面临一些批评。任务集是静态的，这意味着随着模型改进，它们可能变得饱和，从而降低其随时间推移的区分能力。此外，该基准主要测试英语推理，这可能无法推广到其他语言或文化背景。一些研究人员认为，BBH任务不能代表现实世界的问题，因为它们通常较为抽象且缺乏实际应用。
另一个局限性是BBH不考虑模型校准或不确定性，仅关注准确率。这可能具有误导性，因为模型可能在没有真正理解的情况下猜对答案。尽管如此，BBH仍是跟踪AI推理进展的宝贵工具，其任务已被纳入更全面的基准，如BIG-bench Lite。
未来方向
随着大型语言模型的持续发展，像BBH这样的基准正在被调整以保持相关性。研究人员正在探索随时间更新任务的动态基准，以及多语言和多模态变体。BBH还启发了针对特定领域（如医学推理和法律推理）的专门基准的创建，这些基准基于其方法论构建。
BBH及类似基准的持续发展对于确保AI系统得到严格评估以及进展得到准确衡量至关重要。通过聚焦于具有挑战性的任务，BBH有助于推动模型能力的边界，驱动人工智能研究的创新。