SIQA，全称Social IQa，是一个基准数据集，旨在评估人工智能系统的社会常识推理能力。该数据集包含约38,000道多项选择题，每道题呈现一段关于社会情境的简短叙述，随后提出一个关于可能结果或适当行为的问题，并提供三个答案选项。该基准的引入是为了弥补AI评估中的一个空白，即对社会规范、意图和人际动态的理解，这些与纯粹的事实或逻辑推理有所不同。
该数据集由华盛顿大学和艾伦人工智能研究所的研究人员创建，相关论文于2019年发表。题目源自众包社会常识推理框架（CrowS-Pairs），但SIQA特别侧重于需要推断社会含义的多项选择题。每道题旨在测试模型是否能理解隐含的社会线索，如礼貌、同理心，或在特定情境中行为的可能后果。
结构与内容
SIQA包含33,404道训练题、1,954道验证题和2,985道测试题，共计38,343道题。每道题包括一个情境句（例如，“乔丹想告诉特蕾西一个秘密”）、一个问题（例如，“乔丹会做什么？”）和三个答案选项（例如，“乔丹告诉了特蕾西秘密”、“乔丹请特蕾西保守秘密”、“乔丹告诉了所有人秘密”）。正确答案由社会常识决定，而非文本中的显式事实。该数据集涵盖广泛的日常场景，包括对话、家庭互动、工作场所情境和友谊。
目的与意义
SIQA的开发旨在超越专注于事实或词汇知识的标准自然语言理解基准。社会常识推理是人类智能的关键组成部分，使人们能够顺利地进行社会互动。对于AI系统，如大型语言模型和变换器，在SIQA上表现良好表明其具备理解隐含社会规范和预测人类行为的能力。该基准已成为人工智能研究领域的标准评估工具，常与Winograd Schema Challenge和Physical IQA等其他常识推理基准一起使用。
评估与性能
在SIQA发布时，表现最佳的模型准确率约为60-70%，显著高于随机猜测（33%），但低于人类表现，后者估计约为86%。随后，机器学习和深度学习技术的进步，特别是更大规模神经网络和预训练模型的出现，带来了更高的分数。例如，基于BERT及其变体的模型已达到80%中段的准确率，接近人类水平。然而，即使是最先进的模型，在理解讽刺或细微文化差异等某些类型的社会推理方面仍存在困难。
局限性与批评
尽管SIQA被广泛使用，但它也面临批评。一些研究人员认为，该数据集可能包含偏见，因为题目是众包的，可能反映标注者的文化背景，主要来自西方英语语境。这可能导致模型学习特定文化的社会规范，而非普遍规范。此外，一些题目被认为存在模糊或多个合理答案，使该基准在细粒度评估中可靠性较低。还有人担心，在SIQA上的高分并不一定转化为现实世界中的社会理解，因为题目被简化，缺乏实际社会互动的复杂性。
相关基准与未来方向
SIQA是更广泛的常识推理基准家族的一部分，包括Winograd Schema和CommonsenseQA。这些基准共同旨在测试常识知识的不同方面，从物理到社会。未来研究方向包括开发更多样化和文化包容性的数据集，整合多模态社会线索（例如，面部表情、语调），以及在交互式环境中评估模型，使其能够实时推理社会动态。随着AI系统日益融入日常生活，像SIQA这样的基准对于确保它们能以社会适当的方式与人类互动仍然至关重要。
参见
- 常识推理
- 自然语言处理
- AI系统评估