国际学习表征会议(ICLR)是机器学习和人工智能领域的重要学术会议,其设立旨在专门关注深度神经网络中的表征学习方面。ICLR于2013年创办,与NeurIPS和ICML并列为该领域最具影响力的三大会议之一,每年吸引数千篇投稿。其显著特色是开放的同行评审流程,论文投稿和评审意见均公开展示,这一模式受Yann LeCun的提议启发,并由其联合创始人Yann LeCun和Yoshua Bengio于2012年正式确立。
起源与创立
ICLR的创立源于对现有会议的不满,这些会议往往将表征学习视为次要主题而非核心研究方向。2012年,时任纽约大学的Yann LeCun和蒙特利尔大学的Yoshua Bengio提议设立一个专门致力于学习表征的新会议,涵盖Neural network和Deep learning模型等架构。他们借鉴了《机器学习杂志》等此前在开放评审方面的尝试,设计了一套旨在提高透明度和加速学术交流的流程。首届会议于2013年5月2日至4日在美国亚利桑那州斯科茨代尔举行,吸引了超过400名参会者。
开放评审模式从一开始就与传统双盲评审截然不同。论文投稿发布在公开平台上,任何注册成员均可评论,同时指定评审人提供正式评估,并与公开讨论并行。这一做法被认为提升了论文质量并促进了社区参与,但也面临关于评审人工作负担和潜在偏见的批评。
发展与影响
从首届约200篇投稿起步,ICLR的规模和影响力迅速扩大。到2020年,会议收到超过2500篇投稿;到2024年,这一数字突破7000篇,主会议录取率低于30%。会议通常在每年4月底至5月初举办,举办地轮流位于北美和欧洲城市,2020年后增加了线上环节。其论文集通过OpenReview平台发布,该平台持续公开每篇论文的完整评审历史。
ICLR的学术影响力体现在其引用指标以及所发表论文对Generative AI和Transformer (architecture)架构的推动作用。许多关于Large language model的基础性工作,包括缩放定律和注意力机制的研究,均首发于ICLR。会议还推出了“可复现性挑战”等创新举措,鼓励对已发表结果进行独立验证,并设立了最佳论文奖和最佳学生论文奖。
会议结构
每届ICLR会期数天,内容包括特邀报告、精选口头报告以及大规模海报展示。程序委员会由资深领域主席和来自学术界与工业界的评审人组成,采用双轨制:一条为标准投稿轨道,另一条为2020年引入的“头脑风暴”轨道,旨在鼓励非常规想法。此外,ICLR还尝试设立“时间检验奖”,表彰十年前发表且产生持续影响的论文。
会议历史上的关键人物包括创始总主席LeCun和Bengio,以及后续各届的程序主席,如2016年的Yoshua Bengio和2018年的Koray Kavukcuoglu。会议与工业界实验室保持紧密联系,OpenAI、Google DeepMind和Anthropic等机构的研究人员经常参与,反映了现代深度学习研究的应用导向。
批评与演变
开放评审模式虽具开创性,但也受到审视。一些研究者认为,公开评论可能抑制冒险性工作,或引发对抗性互动。为此,ICLR不断调整政策,例如允许作者在初期评审阶段选择退出公开评论,并于2022年引入两阶段评审流程,将讨论与最终决定分开。此外,随着会议规模扩大,评审质量问题也引发关注;ICLR通过增加领域主席数量并实施“一致性检查”系统来应对。
尽管面临这些挑战,ICLR仍是深度学习和人工智能研究成果传播的核心平台,其开放原则和对表征学习的专注影响了其他会议,但尚无会议完全复制其模式。
参见
- ICML - 国际机器学习会议
- NeurIPS - 神经信息处理系统大会
- AAAI - 人工智能促进协会会议
参考文献
- Yann LeCun和Yoshua Bengio,ICLR创立声明,2012年。
- ICLR会议论文集,OpenReview平台,2013–2024年。
- 会议统计数据和官方公告中的录取率及参会人数记录。