Evidently AIは、本番環境における機械学習モデルの監視と診断のためのオープンソースツールを開発するテクノロジー企業である。2020年にEmeli DralとMichael Tsanevによって設立された同社は、データサイエンティストやエンジニアがデータドリフト、モデル劣化、その他のデプロイ後に発生し得る問題を検出するのに役立つライブラリとサービスのスイートを提供している。このプラットフォームは、金融、医療、電子商取引などの業界で、AIシステムの信頼性と公平性を確保するために広く使用されている。
Evidently AIの提供の中核は、オープンソースのPythonライブラリであり、モデルの予測とデータからインタラクティブなレポートとダッシュボードを生成する。これらのレポートは、データドリフト検出、モデル性能評価、特徴量重要度など、さまざまな分析をカバーしている。このライブラリは、一般的な機械学習フレームワークやデータ処理ツールと統合されており、すでにMachine learningワークフローを使用しているチームにとって実用的な選択肢となっている。2022年には、オープンソースライブラリの上に監視、アラート、コラボレーション機能を追加した商用プラットフォームを導入した。
歴史と資金調達
Evidently AIは、データサイエンスとエンジニアリングの経験を持つEmeli DralとMichael Tsanevによって2020年に設立された。同社はイギリス・ロンドンに本社を置いている。2021年、Evidently AIはベンチャーキャピタル企業のCrane Venture Partnersが主導する250万ドルのシードラウンドを調達し、他の投資家も参加した。この資金は、チームの拡大と商用プラットフォームの開発加速に使用された。2023年までに、同社は数千人のオープンソースユーザーと数十のエンタープライズ顧客にサービスを提供するまでに成長した。
中核機能
Evidently AIプラットフォームは、機械学習監視のためのいくつかの主要な機能を提供している。データドリフト検出は主要な機能であり、統計的検定と距離指標を使用して、現在のデータ分布を参照ベースラインと比較する。これにより、入力データが時間とともに変化し、モデル性能の低下につながる可能性がある場合を特定できる。プラットフォームはまた、精度、適合率、再現率、F1スコアなどのモデル品質指標を追跡し、チームがローリングベースで性能を監視できるようにする。
もう一つの重要な機能は、数値指標と可視化を組み合わせた詳細なレポートを生成する能力である。これらのレポートはHTMLまたはJSONファイルとしてエクスポートでき、関係者と調査結果を共有するのが容易になる。オープンソースライブラリは表形式データとテキストデータの両方をサポートしており、感情分析やテキスト分類などのタスクのためにLarge language modelベースのシステムでも使用できる。さらに、プラットフォームにはモデルの健全性のリアルタイム概要を提供するダッシュボードが含まれており、指標が事前定義されたしきい値を超えるとアラートがトリガーされる。
統合とユースケース
Evidently AIは、既存の機械学習パイプラインにシームレスに統合されるように設計されている。Apache Airflow、Prefect、Dagsterなどの一般的なデータ処理およびオーケストレーションツール、ならびにAmazon Web ServicesやGoogle Cloudなどのクラウドサービスと連携する。このライブラリは、アドホック分析のためにJupyterノートブックで使用したり、継続的な監視システムの一部としてデプロイしたりできる。一般的なユースケースには、顧客離反予測モデル、不正検出システム、レコメンデーションエンジンの監視が含まれる。
実際には、チームはEvidently AIを使用して、モデルが時間とともに正確で偏りのない状態を維持していることを検証する。例えば、金融機関はこのプラットフォームを使用して、信用スコアリングモデルの申請者人口統計のドリフトを監視し、モデルが特定のグループを意図せず差別しないようにすることができる。同様に、電子商取引企業は、製品レコメンデーションモデルに影響を与える可能性のあるユーザー行動の変化を追跡できる。
オープンソースとコミュニティ
Evidently AIのオープンソース性は、その人気に貢献している。このライブラリはApache 2.0ライセンスの下でGitHubで利用可能であり、開発者やデータサイエンティストのコミュニティからの貢献を受けている。このプロジェクトは大きな勢いを得ており、GitHubで数千のスターを獲得し、世界中の企業で採用されている。同社はまた、ユーザーが始めるのに役立つドキュメントやチュートリアルを維持し、ウェビナーやミートアップなどのコミュニティイベントを開催している。
中核ライブラリに加えて、Evidently AIはMLflowやKubeflowなどの他のオープンソースプロジェクトとの統合を開発し、モデルの追跡とデプロイを容易にしている。同社のオープンソースへのコミットメントは、そのビジネスモデルに反映されており、オープンソースライブラリの無料ティアと、チームコラボレーションや優先サポートなどの高度な機能を備えた商用プラットフォームの有料ティアを提供している。
今後の方向性
機械学習モデルがより複雑になり、広くデプロイされるにつれて、堅牢な監視ソリューションの必要性は高まると予想される。Evidently AIは、Deep learningやTransformer (architecture)ベースのアーキテクチャを含む新しいタイプのモデルをカバーするために機能を拡張することで、この需要に対応する態勢を整えている。同社はまた、説明可能性と公平性の指標をプラットフォームに組み込む方法を模索しており、組織がより信頼性の高いAIシステムを構築するのに役立てている。
2023年、Evidently AIはAlibaba Cloudとの提携を発表し、Alibaba Cloudマーケットプレイスで監視ソリューションを提供し、アジア太平洋地域へのリーチを拡大した。同社はオープンソースライブラリの定期的なアップデートをリリースし続け、新機能を追加し、性能を向上させている。責任あるAIへの関心が高まる中、Evidently AIは組織が機械学習システムの健全性を維持するのを支援する上で重要な役割を果たす可能性が高い。