Evidently AI是一家开发用于监控和诊断生产环境中机器学习模型的开源工具的技术公司。该公司由Emeli Dral和Michael Tsanev于2020年创立，提供一系列库和服务，帮助数据科学家和工程师检测数据漂移、模型退化以及部署后可能出现的其他问题。该平台广泛应用于金融、医疗保健和电子商务等行业，以确保AI系统的可靠性和公平性。
Evidently AI的核心产品是其开源Python库，该库根据模型预测和数据生成交互式报告和仪表板。这些报告涵盖多种分析，包括数据漂移检测、模型性能评估和特征重要性。该库与流行的机器学习框架和数据处理工具集成，使其成为已在使用机器学习工作流的团队的实用选择。2022年，该公司推出了商业平台，在开源库的基础上增加了监控、告警和协作功能。
历史与融资
Evidently AI由Emeli Dral和Michael Tsanev于2020年创立，两人此前均有数据科学和工程方面的经验。公司总部位于英国伦敦。2021年，Evidently AI完成了由风险投资公司Crane Venture Partners领投的250万美元种子轮融资，其他投资者也参与了本轮融资。这笔资金用于扩大团队并加速商业平台的开发。到2023年，该公司已发展为服务数千名开源用户和数十家企业客户。
核心功能
Evidently AI平台为机器学习监控提供多项关键能力。数据漂移检测是主要功能之一，使用统计检验和距离度量将当前数据分布与参考基线进行比较。这有助于识别输入数据随时间的变化，这种变化可能导致模型性能下降。该平台还跟踪模型质量指标，如准确率、精确率、召回率和F1分数，使团队能够滚动监控性能。
另一个重要功能是生成详细报告，将数值指标与可视化相结合。这些报告可以导出为HTML或JSON文件，便于与利益相关者分享发现。开源库支持表格数据和文本数据，并可用于基于大型语言模型的系统，如情感分析或文本分类任务。此外，该平台还包含一个仪表板，提供模型健康状况的实时概览，当指标超过预设阈值时会触发告警。
集成与使用场景
Evidently AI旨在无缝集成到现有的机器学习管道中。它与Apache Airflow、Prefect和Dagster等流行的数据处理和编排工具，以及亚马逊云服务和谷歌云等云服务兼容。该库可用于Jupyter笔记本进行临时分析，或作为持续监控系统的一部分部署。常见使用场景包括监控客户流失预测模型、欺诈检测系统和推荐引擎。
在实践中，团队使用Evidently AI来验证其模型随时间保持准确性和无偏性。例如，金融机构可能使用该平台监控信用评分模型中申请人人口统计数据的漂移，确保模型不会无意中歧视某些群体。同样，电子商务公司可以跟踪可能影响产品推荐模型的用户行为变化。
开源与社区
Evidently AI的开源性质促成了其受欢迎程度。该库在GitHub上以Apache 2.0许可证提供，并获得了开发者社区和数据科学家的贡献。该项目已获得显著关注，在GitHub上拥有数千颗星，并被全球多家公司采用。公司还维护文档和教程以帮助用户入门，并举办网络研讨会和聚会等社区活动。
除了核心库之外，Evidently AI还开发了与其他开源项目的集成，如MLflow和Kubeflow，以促进模型跟踪和部署。公司对开源的承诺体现在其商业模式中，为开源库提供免费层级，并为商业平台提供付费层级，后者包含团队协作和优先支持等高级功能。
未来方向
随着机器学习模型变得更加复杂和广泛部署，对稳健监控解决方案的需求预计将增长。Evidently AI通过扩展能力以覆盖新型模型（包括深度学习和基于Transformer的架构）来满足这一需求。公司还在探索将可解释性和公平性指标纳入其平台的方法，帮助组织构建更可信的AI系统。
2023年，Evidently AI宣布与阿里云建立合作伙伴关系，在阿里云市场上提供其监控解决方案，将其覆盖范围扩展到亚太地区。公司继续定期发布开源库更新，添加新功能并改进性能。随着对负责任AI的日益重视，Evidently AI很可能在帮助组织维护机器学习系统健康方面发挥关键作用。