国际语言资源与评估会议（LREC）是一个两年一度的学术会议，专注于语言资源的创建、标注和评估，以及自然语言处理中使用的方法和工具。该会议于1998年首次举办，现已成为研究人员、工程师和语言学家展示语料库、词典、语音数据库和评估基准工作的主要场所。会议在欧洲语言资源协会（ELRA）的主持下组织，该协会还出版相关的LREC会议论文集。
LREC与其他计算语言学会议的区别在于其明确关注语言技术的基础设施，，即推动机器学习、深度学习和大型语言模型发展所需的数据和评估标准。多年来，会议已扩展至包括研讨会、教程和共享任务，以应对语言资源创建和使用中的既有及新兴挑战。
历史与组织
首届LREC于1998年在西班牙格拉纳达举行，此后每两年在欧洲各城市举办，包括雅典、里斯本、马拉喀什和雷克雅未克。会议通常吸引来自全球学术界和工业界的1000多名参与者。ELRA成立于1995年，是主要组织机构，负责协调当地主办方和程序委员会。会议论文集存档于ACL选集（ACL Anthology）中，确保研究社区的长期可访问性。
范围与主题
LREC涵盖与语言资源相关的广泛主题，包括语料库设计与标注、词汇数据库、语音和多模态资源，以及资源创建工具。项目中有相当部分涉及评估方法，例如序列到序列模型的指标、束搜索解码和训练中的损失函数。近几届会议越来越多地展示关于变换器架构、位置编码方案和多头注意力机制的研究，反映了人工智能领域向神经方法的转变。
论文通常介绍新的数据集或基准，例如低资源语言的标注语料库或用于评估生成式人工智能系统的测试套件。会议还鼓励资源的重用和互操作性，推广文本编码倡议（TEI）和语言标注框架等标准。
评估与共享任务
LREC的一个标志性特点是其对评估的重视。许多届会议包括共享任务，多个系统在共同数据集上竞争，例如命名实体识别、机器翻译或语音识别。这些任务依赖严格的协议，包括数据增强策略和用于多模态输入的交叉注意力机制。结果通常在专门的研讨会环节中报告，获胜系统往往影响后续在神经网络设计和模型剪枝技术方面的研究。
会议还发布资源评估指南，涵盖标注者间一致性、覆盖率和偏差等方面。这些指南在更广泛的NLP社区中被广泛采用，包括麻省理工学院计算机科学与人工智能实验室、斯坦福人工智能实验室和多伦多大学等团体，它们经常在LREC上展示成果。
影响与社区
LREC在培养围绕语言资源的社区方面发挥了关键作用，区别于纯算法型会议。它促进了如通用依赖树库和Common Crawl语料库等主要资源的创建，这些资源支撑着许多现代大型语言模型的训练流程。会议论文集是资源来源记录的丰富文档，这对深度学习研究的可复现性至关重要。
近年来，LREC解决了伦理和实际问题，如许可、隐私以及训练大型模型的环境成本。小组讨论和主题演讲邀请了来自谷歌深度思维、开放人工智能和人类学等工业实验室的研究人员，讨论评估标准如何跟上生成式人工智能的快速发展。会议还与区域倡议合作，包括亚洲语言资源与评估会议，以确保全球覆盖。
参见
- 自然语言处理（不在列表中，但隐含提及）
- evaluation-metrics（不在列表中，但隐含提及）
- corpus-linguistics（不在列表中，但隐含提及）
（注：上述链接为占位符；实际内部链接在内容中提供。）