PIQA（物理交互问答）是一个基准数据集，用于评估人工智能系统在物理常识推理方面的能力。该数据集于2020年推出，主要关注日常物理交互任务，例如如何使用物体或执行简单操作。基准测试会向模型提供一个目标以及两个可能的解决方案，其中只有一个在物理上是合理的。PIQA旨在测试模型是否能够理解现实世界的物理规律，这对人类来说往往轻而易举，但对机器而言却颇具挑战。
该数据集由多伦多大学和卡内基梅隆大学的研究人员创建，并于2020年首次在一个重要会议上发布。创建者旨在弥补现有基准测试的不足，因为现有测试往往侧重于语言理解或视觉识别，而忽略了人类日常使用的隐含物理知识。PIQA的设计初衷是更直接地测试模型对物理世界的推理能力，与Winograd模式挑战和物理推理挑战等其他基准测试形成互补。
数据集结构
PIQA包含超过16,000道多项选择题，每道题都包含一个目标和两个解决方案。这些目标都是简单的日常任务，例如“如何切蛋糕”或“如何挂画”。两个解决方案均为简短的自然语言描述，其中一个是正确的，另一个则是看似合理但实际错误的选项。错误选项的设计与正确选项在语义上相似，这使得依赖表面语言模式的模型难以应对。
每道题还附带一个难度评级，由人工标注者评定。难度从简单到困难不等，使研究人员能够分析模型在不同复杂度水平下的表现。数据集分为训练集、验证集和测试集，其中测试集用于官方评估。该基准测试公开可用，研究人员可以提交模型参与排行榜评比。
评估与指标
PIQA的主要评估指标是准确率，即模型选择正确解决方案的百分比。由于每道题只有两个选项，随机猜测的准确率约为50%。该基准测试的设计具有挑战性，在其推出时，最先进的模型准确率约为70%至80%，而人类的准确率接近95%。这一差距凸显了人工智能系统在物理常识推理方面的困难。
除了整体准确率外，该数据集还支持按难度进行分层分析。模型通常在简单题目上表现较好，但在需要更深层物理推理的难题上表现不佳。该基准测试还支持零样本和少样本评估，即在不对数据集进行微调的情况下测试模型，以评估其已有的知识储备。
影响与应用
PIQA已成为人工智能领域广泛使用的基准测试，尤其是在机器学习和自然语言处理方面。它经常被纳入大型语言模型的评估体系中，例如OpenAI、Anthropic和Google DeepMind开发的模型。这些模型在PIQA上的测试旨在评估其对物理场景的推理能力，这被视为迈向更通用人工智能的一步。
该基准测试也被用于研究当前模型的局限性。例如，研究人员发现，模型往往依赖语言中的统计规律而非真正的物理理解。这引发了对人工智能系统需要更强大推理能力的讨论。PIQA还启发了其他类似基准测试的创建，例如专注于因果推理或空间理解的测试。
局限性与批评
尽管PIQA是一个有价值的基准测试，但它也存在一些局限性。题目仅限于简单的日常任务，解决方案为简短文本描述，因此该基准测试无法完全涵盖物理推理的复杂性，而物理推理往往涉及视觉、空间和时间信息。一些批评者认为，PIQA可以通过启发式方法或记忆常识事实来解决，而非真正的推理。
此外，该数据集创建于2020年，随着人工智能模型的不断改进，它们在PIQA上的表现也在提升。目前，一些模型的准确率已超过90%，接近人类水平。这引发了人们对基准测试趋于饱和的担忧，因此需要更具挑战性的基准测试来继续推动人工智能研究的发展。
尽管存在这些局限性，PIQA仍然是评估和理解人工智能物理常识推理能力的重要工具。它为创造能够与物理世界交互的人工智能系统做出了贡献，这一目标在机器人和具身人工智能等领域至关重要。