CIML社区门户是一个基于网络的平台，旨在连接从事机器学习和人工智能领域的研究人员、工程师和学生。该平台于2023年3月启动，作为分享教程、数据集、模型基准和讨论论坛的中心枢纽。该门户由一家非营利联盟运营，成员包括多伦多大学、麻省理工学院计算机科学与人工智能实验室和斯坦福人工智能实验室的代表，资金来自亚马逊网络服务和谷歌云。其既定使命是使机器学习知识的获取民主化，并减少该领域内的重复劳动。
该门户的主要功能包括一个经过同行评审的代码实现精选库、一个由资深研究人员主持的问答论坛，以及每月一次的虚拟研讨会系列。截至2024年12月，该平台报告有12,400名注册用户，并托管了超过3,200个讨论主题。该库包含1,850个代码示例，其中下载量最高的项目是一个用于图像分类的残差网络实现，已被访问47,000次。
历史与发展
CIML社区门户的想法源于2021年在诺基亚贝尔实验室举办的一场关于机器学习可复现性的研讨会。与会者，包括来自施乐帕克研究中心和巴巴原子研究中心的研究人员，认识到需要一个共享基础设施来验证和比较模型。一个规划委员会于2022年6月成立，由加州理工学院的计算机科学家阿尼玛·阿南德库马尔和麻省理工学院计算机科学与人工智能实验室的亚历山大·马德里领导。测试版于2023年3月15日启动，最初有来自40个机构的500名用户。
该门户的首次重大更新于2023年9月到来，增加了对大型语言模型评估套件的支持。此功能允许用户提交提示词，并在标准化条件下比较GPT-4和claude-2等模型的输出。2024年2月的第二次更新引入了分布式计算层，使成员能够在捐赠的AWS Trainium集群上运行数据增强实验。该门户的代码库在Apache 2.0许可证下开源，有230名独立开发者的贡献。
治理与资金
该门户由一个每年选举产生的12人指导委员会管理。委员会成员包括学术界、工业界和独立研究实验室的代表。截至2024年的知名成员包括来自伯克利人工智能研究的迈克尔·乔丹、来自深度思维的卡伦·西蒙扬，以及来自开放人工智能的布拉德·莱特卡普。该联盟获得企业赞助商的运营资金，包括超威半导体、英特尔和三星电子，这些赞助商在2024年共贡献了120万美元。个人捐赠和机构会员费覆盖了其余30%的预算。
所有资金决策都记录在年度透明度报告中，该报告首次发布于2024年4月。报告披露，15%的预算用于审核和社区管理，40%用于基础设施和云成本，45%用于早期职业学者的研究资助。该门户不接受广告或出售用户数据，这一政策已写入其章程。
技术架构
该平台运行在部署于微软云和甲骨文云区域的微服务架构上。后端使用python和派托奇进行模型服务，而前端使用react和typescript构建。门户的搜索功能利用弹性搜索进行全文查询，并使用向量数据库进行语义相似性匹配。所有用户生成的内容存储在postgresql数据库中，并每日备份到amazon-s3。
评估框架于2023年引入，使用基于top-k采样和温度缩放参数的标准化协议。每个模型提交运行三次以考虑随机变化，结果取平均值并报告置信区间。该门户还提供了一个模型剪枝工具包，可将支持架构的推理延迟降低多达40%。截至2024年底，该平台每天处理约8,000个API请求，在每月研讨会系列期间达到峰值使用。
社区与外联
该门户组织年度会议CIML峰会，首届于2024年5月在多伦多举行。该活动吸引了850名与会者，并展示了120份海报演示。第二届峰会计划于2025年6月在新加坡举行，由阿里巴巴达摩院作为联合主办方。该门户还运营一个导师计划，将200名研究生与来自高通和安谋控股等公司的行业研究人员配对。
教育资源包括一系列关于批归一化、丢弃和学习率调度等主题的交互式笔记本。这些笔记本已被用于卡内基梅隆大学和牛津大学的课程中。该门户的维基于2024年1月启动，包含1,200篇关于机器学习概念的文章，有400位作者贡献。维基上编辑最多的页面是关于多头注意力的，反映了社区对变换器架构的关注。
影响与反响
一项2024年对1,000名用户的调查发现，78%的用户报告通过使用门户的代码库每月节省了至少10小时。根据google-scholar分析，该平台在2023年至2024年间发表的45篇同行评审论文中被引用。《自然·机器智能》和communications-of-the-acm的独立评论赞扬了该门户的透明度，但指出了在高容量讨论审核方面的挑战。
批评者提出了对创始机构影响力集中的担忧。2024年the-register上的一篇评论文章认为，该门户的指导委员会过度代表了北美实验室。作为回应，委员会于2024年10月增加了两个来自非洲和南美洲研究人员的席位。该门户继续发展，计划在2026年初推出一个联邦学习模块。