SIQA，即Social IQa的缩写，是一个基准数据集，旨在评估人工智能系统的社会常识推理能力。它包含约38,000道多项选择题，每道题呈现一个关于社会情境的简短叙述，随后提出一个关于可能结果或适当行为的问题，并提供三个答案选项。该基准的引入是为了弥补AI在理解社会规范、意图和人际动态方面的评估空白，这些能力与纯粹的事实或逻辑推理有所不同。
该数据集由华盛顿大学和艾伦人工智能研究所的研究人员创建，相关论文于2019年发表。题目源自众包社会常识推理（CrowdS-Pairs）框架，但SIQA特别侧重于需要推断社会含义的多项选择题。每道题旨在测试模型是否能理解隐含的社会线索，如礼貌、同理心，或在特定情境下某行为的可能后果。
结构与内容
SIQA包含33,404道训练题、1,954道验证题和2,985道测试题，总计38,343道题。每道题包括一个情境句（例如，“乔丹想告诉特蕾西一个秘密”）、一个问题（例如，“乔丹会做什么？”）和三个答案选项（例如，“乔丹告诉了特蕾西秘密”、“乔丹请特蕾西保守秘密”、“乔丹告诉了所有人秘密”）。正确答案由社会常识决定，而非文本中的明确事实。数据集涵盖了广泛的日常场景，包括对话、家庭互动、工作场所情境和友谊关系。
目的与意义
SIQA的开发旨在超越专注于事实或词汇知识的标准自然语言理解基准。社会常识推理是人类智能的关键组成部分，使人们能够顺利地进行社会互动。对于AI系统，如大型语言模型和变换器，在SIQA上表现良好表明其能够把握隐含的社会规范并预测人类行为。该基准已成为人工智能研究领域的标准评估工具，常与Winograd Schema挑战和Physical IQA等其他常识推理基准一起使用。
评估与性能
SIQA发布时，表现最佳的模型准确率约为60-70%，显著高于随机猜测（33%），但低于人类表现（估计约为86%）。随后，机器学习和深度学习技术的进步，特别是更大规模神经网络和预训练模型的出现，带来了更高的分数。例如，基于BERT及其变体的模型已达到约80%中段的准确率，接近人类水平。然而，即使是最先进的模型在处理某些类型的社会推理时仍存在困难，如理解讽刺或细微的文化差异。
局限性与批评
尽管SIQA被广泛使用，但它也面临批评。一些研究人员认为，该数据集可能包含偏见，因为题目是众包的，可能反映标注者的文化背景，主要来自西方英语语境。这可能导致模型学习特定文化的社会规范，而非普遍规范。此外，一些题目被认为存在模糊或多个合理答案，使该基准在细粒度评估中可靠性较低。还有人担心，在SIQA上的高表现并不一定转化为现实世界的社会理解，因为题目被简化，缺乏实际社会互动的复杂性。
相关基准与未来方向
SIQA是更广泛的常识推理基准家族的一部分，包括Winograd Schema和CommonsenseQA。这些基准共同旨在测试常识知识的不同方面，从物理到社会。未来研究方向包括开发更多样化和文化包容性的数据集，整合多模态社会线索（如面部表情、语调），以及在互动环境中评估模型，使其能够实时推理社会动态。随着AI系统日益融入日常生活，像SIQA这样的基准对于确保它们能以社会适当的方式与人类互动仍然至关重要。
参见
- 常识推理
- 自然语言处理
- AI系统评估