Snorkel AI是一家开发以数据为中心的人工智能解决方案的公司，专注于程序化标注和弱监督，以加速为机器学习模型创建高质量训练数据。该公司于2019年作为斯坦福人工智能实验室的分拆公司成立，将Snorkel项目的研究成果商业化，该项目引入了一种使用用户定义函数而非手动标注来标注训练数据的范式。其平台Snorkel Flow使组织能够通过迭代改进训练数据来构建和管理人工智能模型，从而减少与传统数据标注相关的时间和成本。
该公司的方法植根于弱监督的概念，即通过程序化方式生成嘈杂、不完美的标签，然后使用概率模型将其组合以产生干净的训练标签。这种方法与传统的手动标注过程形成对比，后者通常昂贵、缓慢且容易出错。Snorkel AI面向金融、医疗保健和技术等行业的企客户，提供与现有机器学习工作流集成的工具。
历史与创立
Snorkel AI由Alex Ratner、Christopher Ré等人于2019年创立，他们曾是斯坦福人工智能实验室的成员。该公司源于Snorkel研究项目，该项目于2015年在斯坦福大学启动，旨在解决为机器学习模型创建标注数据集的瓶颈问题。由Christopher Ré领导的初期研究专注于使用弱监督来减少对手动标注数据的需求。2019年，团队在Lightspeed Venture Partners领投的A轮融资中筹集了1500万美元，GV（前身为Google Ventures）及其他投资者参与。该公司随后筹集了额外资金，包括2021年的3500万美元B轮融资和2022年的8500万美元C轮融资，总融资额超过1.35亿美元。
Snorkel Flow平台
旗舰产品Snorkel Flow是一个用于以数据为中心的人工智能的端到端平台。它提供了一个可视化界面，供用户定义标注函数，这些函数是为数据点分配标签的规则或启发式方法。这些函数可以用Python编写或使用无代码界面创建，使不具备深厚编程技能领域专家也能使用。该平台随后使用统计模型组合这些函数的输出，估计其准确性和相关性，为未标注数据生成概率标签。Snorkel Flow还包括数据探索、错误分析和模型管理功能，使团队能够迭代改进训练数据和模型性能。
以数据为中心的人工智能方法
Snorkel AI是以数据为中心的人工智能运动的倡导者，该运动强调数据质量而非模型架构的重要性。该公司认为，许多人工智能失败源于训练数据质量差，例如错误标注的示例、缺失的边缘情况或有偏见的分布。通过专注于改进数据，Snorkel Flow帮助组织以更少的手动工作实现更高的模型准确性。这种方法在标注数据稀缺或昂贵的领域尤其相关，例如医学影像、法律文件审查和自然语言处理。
用例与应用
Snorkel Flow已被多家企业采用以解决现实世界问题。例如，在金融领域，公司使用它通过捕获可疑模式的规则标注历史数据来检测欺诈交易。在医疗保健领域，它被用于从电子健康记录中提取信息，例如识别具有特定条件的患者。在技术行业，它有助于改进搜索相关性和内容审核。该平台支持结构化数据和非结构化数据，包括文本、图像和表格数据。
与机器学习生态系统的集成
Snorkel Flow旨在与流行的机器学习框架和工具集成。它可以以与TensorFlow、PyTorch和其他库兼容的格式导出标注数据集。该平台还通过允许用户标注数据以进行微调或评估来支持大型语言模型。Snorkel AI与AWS、Azure和Google Cloud等云提供商建立了合作伙伴关系，支持在其基础设施上部署。此外，该公司提供API和SDK以进行程序化访问，允许集成到现有数据管道中。
研究与贡献
Snorkel项目对人工智能研究领域做出了重大贡献。原始论文《Snorkel: Fast Training Data Creation with Weak Supervision》于2017年发表，并获得VLDB会议最佳论文奖。后续研究探索了数据编程、标签模型和主动学习等主题。Snorkel AI继续发表研究并开源组件，例如Snorkel库，该库在学术界和工业界被广泛使用。该公司还赞助研讨会并参加NeurIPS和ICML等会议。
竞争格局
Snorkel AI在数据标注和人工智能开发工具的竞争领域中运营。竞争对手包括Scale AI、Labelbox和Appen等公司，它们专注于手动或半自动标注服务。然而，Snorkel AI通过强调程序化标注和弱监督来区分自己，这对于大型数据集而言可能更具可扩展性和成本效益。该公司还与Hugging Face和OpenAI等更广泛的人工智能平台竞争，提供模型开发工具，但其重点专门针对训练数据。
未来方向
截至2024年，Snorkel AI继续扩展其平台能力，特别是在生成式人工智能领域。该公司推出了用于标注和评估大型语言模型数据的功能，包括RLHF（基于人类反馈的强化学习）和课程学习技术。Snorkel AI旨在成为人工智能堆栈中的标准层，使组织能够通过系统化管理训练数据来构建可靠的模型。该公司还在探索与学术机构和研究实验室的合作，以推进以数据为中心的人工智能科学。
结论
Snorkel AI已确立了自己在以数据为中心的人工智能运动中的领导者地位，提供了一个改变训练数据创建和管理方式的平台。通过利用弱监督和程序化标注，该公司解决了人工智能开发中的关键瓶颈，使企业能够更快、更便捷地部署准确的模型。凭借对研究和产品创新的持续投资，Snorkel AI有望塑造人工智能训练方法的未来。