Kaggle是一个数据科学竞赛平台,也是面向数据科学家和机器学习从业者的在线社区,由Google LLC运营。该平台使用户能够发现和发布数据集,在基于网络的环境中构建和评估模型,与同行协作,并参与面向全球受众的数据科学挑战竞赛。Kaggle于2010年4月推出,已从一个小众的预测建模竞赛场所发展为最大的机器学习实践社区之一,托管了涵盖商业、科学和工程领域的数千项挑战。
该平台提供集成化工作流程,参赛者可以下载预先准备的数据集,使用基于浏览器的笔记本开发模型,并通过自动化评分系统获得即时反馈。它提供分级排名系统,认可用户在竞赛、笔记本和社区讨论中的成就,并催生了开放基准测试和共享解决方案的独特精神。然而,其开放提交模式也导致了数据集质量和伦理监督方面的问题,尤其是在医学研究应用中。
早期历史与发展
Kaggle由Anthony Goldbloom于2010年4月创立。Jeremy Howard是最早的参与者之一,于2010年11月加入,并担任总裁兼首席科学家。Nicholas Gruen担任创始主席。2011年,公司获得了1250万美元的融资,Max Levchin接任董事会主席。2017年3月8日,Google宣布收购Kaggle,将该平台整合到Google的云和人工智能产品中。
用户增长持续且显著。2017年6月,Kaggle注册用户突破100万。截至2023年10月,注册人数超过1500万,覆盖194个国家。2022年,创始人Goldbloom和Ben Hamner卸任运营职务,D. Sculley出任首席执行官。2023年2月,平台推出Models功能,允许用户在Kaggle环境中集成和部署预训练模型,这标志着关注点的重大转变。
竞赛机制与影响
Kaggle的核心活动是托管机器学习竞赛。竞赛主办方提供数据集和明确的问题,通过奖金池向参赛者付费,或在无报酬挑战中吸引志愿者。参赛者尝试各种技术,提交解决方案,并针对隐藏评估集获得即时评分,结果显示在实时排行榜上。提交可通过Kaggle API、手动上传或直接从笔记本环境进行。
著名竞赛包括微软Kinect的手势识别、为曼彻斯特城足球俱乐部开发人工智能对手、为Two Sigma Investments设计量化交易算法,以及协助欧洲核子研究组织改进希格斯玻色子搜索。该平台的竞赛形式推动了创新。在制药公司默克主办的一场竞赛中,Geoffrey Hinton和研究生George Dahl证明深度学习网络可以超越传统方法,这一结果在后续研究和公开模型中得到进一步阐述。
其他成功案例包括基于获胜提交对HIV研究、国际象棋评级系统和交通预测的贡献。由华盛顿大学的Tianqi Chen推广的XGBoost库的引入,改变了社区中的常见建模实践。多篇学术论文引用了竞赛结果,获胜者的方法常被写入Kaggle博客。
进阶系统与笔记本
为表彰参与,Kaggle引入了五级进阶系统,,新手、贡献者、专家、大师和特级大师,,根据在竞赛、数据集、笔记本和讨论帖中获得的积分授予。截至2025年4月2日,在2390万个账户中,有2973人获得大师称号,612人达到特级大师级别。
基于浏览器的笔记本是集成化的关键要素,为Python和R提供免费的CPU、GPU和TPU资源。除了促进提交外,它们还支持在线学习和基于模板的适配,在数据社区中广泛应用,并直接与数据集和竞赛关联。
医学研究关切
Kaggle上数据集的开放和公开审查引发了对研究数据伦理验证的重大关切。2025年12月,The Transmitter发表的一项调查报道称,Springer Nature广泛撤回了近40篇基于一个数据集的出版物,该数据集包含自闭症和非自闭症儿童的照片,上传时未获得可靠同意或伦理批准。该数据集包含超过2900张图像,至少90篇其他出版物引用了其版本。
2026年4月,nature期刊中的一篇描述指出,Kaggle上托管的两个额外数据集来源不明,被用于训练125个临床预测模型。其中至少两个模型已在印度尼西亚和西班牙的医院中应用。截至2026年6月5日,基于这些数据集的五篇论文已被正式撤回。
另一项研究强调了一组不可靠的用于中风和糖尿病训练模型的图像,其中包含西尔维斯特·史泰龙、乔治·克鲁尼、安吉丽娜·朱莉和丹尼尔·克雷格等著名演员,以及儿童。一个数据集在Kaggle上变得不可用,而另一个仍保留在平台上。这引起了人们对缺乏审查或来源确认的关注,使得此类数据得以进入临床研究。
这些事件指向一个核心矛盾:Kaggle的开放性加速了实践和社区学习,但也意味着该平台往往充当未经发表、未经审查数据源的传播渠道。因此,使用此类数据集的文章已被纳入撤稿观察日志,持续的审查凸显了社区中积极数据治理的必要性。
结论
从其作为竞赛提供者的起源,到如今拥有60万竞争对手的网站,Kaggle的历史反映了现代机器学习进入主流的历程。其实时排行榜、庞大的数据集存储库和分类器教育都影响了先进工具和实践的交流方式。然而,自2025年以来凸显的挑战表明,如果不重新审视数据治理的伦理界限,该平台可能成为科学滥用和创新的双重中心。