Evidently AI는 프로덕션 환경에서 머신러닝 모델을 모니터링하고 진단하기 위한 오픈소스 도구를 개발하는 기술 회사이다. 2020년 Emeli Dral과 Michael Tsanev가 설립한 이 회사는 데이터 과학자와 엔지니어가 데이터 드리프트, 모델 성능 저하, 그리고 배포 후 발생할 수 있는 기타 문제를 감지하는 데 도움을 주는 라이브러리 및 서비스 제품군을 제공한다. 이 플랫폼은 금융, 의료, 전자상거래와 같은 산업에서 AI 시스템의 신뢰성과 공정성을 보장하기 위해 널리 사용된다.
Evidently AI의 핵심은 오픈소스 Python 라이브러리로, 모델 예측과 데이터에서 대화형 보고서와 대시보드를 생성한다. 이러한 보고서는 데이터 드리프트 감지, 모델 성능 평가, 특성 중요도 분석을 포함한 다양한 분석을 다룬다. 이 라이브러리는 널리 사용되는 머신러닝 프레임워크 및 데이터 처리 도구와 통합되어, 이미 Machine learning 워크플로우를 사용하는 팀에게 실용적인 선택이 된다. 2022년에 회사는 오픈소스 라이브러리 위에 모니터링, 알림, 협업 기능을 추가한 상용 플랫폼을 도입했다.
역사 및 자금
Evidently AI는 2020년 Emeli Dral과 Michael Tsanev에 의해 설립되었으며, 두 사람 모두 데이터 과학 및 엔지니어링 분야에서 이전 경험을 가지고 있다. 회사는 영국 런던에 본사를 두고 있다. 2021년, Evidently AI는 벤처 캐피털 회사인 Crane Venture Partners가 주도한 250만 달러의 시드 라운드를 유치했으며, 다른 투자자들도 참여했다. 이 자금은 팀 확장과 상용 플랫폼 개발 가속화에 사용되었다. 2023년까지 회사는 수천 명의 오픈소스 사용자와 수십 개의 기업 고객을 지원하는 규모로 성장했다.
핵심 기능
Evidently AI 플랫폼은 머신러닝 모니터링을 위한 몇 가지 주요 기능을 제공한다. 데이터 드리프트 감지는 주요 기능으로, 통계적 검정과 거리 측정을 사용하여 현재 데이터 분포를 기준선과 비교한다. 이는 입력 데이터가 시간이 지남에 따라 변화하여 모델 성능 저하로 이어질 수 있는 상황을 식별하는 데 도움을 준다. 플랫폼은 또한 정확도, 정밀도, 재현율, F1 점수와 같은 모델 품질 지표를 추적하여 팀이 지속적으로 성능을 모니터링할 수 있게 한다.
또 다른 중요한 기능은 수치 지표와 시각화를 결합한 상세 보고서를 생성하는 능력이다. 이러한 보고서는 HTML 또는 JSON 파일로 내보낼 수 있어 이해관계자와 결과를 공유하기 쉽다. 오픈소스 라이브러리는 표 형식 데이터와 텍스트 데이터를 모두 지원하며, 감성 분석이나 텍스트 분류와 같은 작업을 위해 Large language model 기반 시스템과 함께 사용할 수 있다. 또한 플랫폼에는 모델 상태에 대한 실시간 개요를 제공하는 대시보드가 포함되어 있으며, 지표가 사전 정의된 임계값을 초과할 때 알림이 트리거된다.
통합 및 사용 사례
Evidently AI는 기존 머신러닝 파이프라인에 원활하게 통합되도록 설계되었다. Apache Airflow, Prefect, Dagster와 같은 널리 사용되는 데이터 처리 및 오케스트레이션 도구와 Amazon Web Services 및 Google Cloud 같은 클라우드 서비스와 함께 작동한다. 라이브러리는 임시 분석을 위해 Jupyter 노트북에서 사용하거나 지속적인 모니터링 시스템의 일부로 배포할 수 있다. 일반적인 사용 사례에는 고객 이탈 예측 모델, 사기 감지 시스템, 추천 엔진 모니터링이 포함된다.
실제로 팀은 Evidently AI를 사용하여 모델이 시간이 지나도 정확하고 편향되지 않은 상태를 유지하는지 검증한다. 예를 들어, 금융 기관은 신용 점수 모델을 모니터링하여 신청자 인구 통계의 드리프트를 감지하고, 모델이 특정 그룹을 의도치 않게 차별하지 않도록 할 수 있다. 유사하게, 전자상거래 회사는 제품 추천 모델에 영향을 미칠 수 있는 사용자 행동 변화를 추적할 수 있다.
오픈소스 및 커뮤니티
Evidently AI의 오픈소스 특성은 인기에 기여했다. 라이브러리는 Apache 2.0 라이선스로 GitHub에서 제공되며, 개발자와 데이터 과학자 커뮤니티의 기여를 받았다. 이 프로젝트는 GitHub에서 수천 개의 별을 받고 전 세계 기업들이 채택하면서 상당한 주목을 받았다. 회사는 또한 사용자가 시작하는 데 도움이 되는 문서와 튜토리얼을 유지 관리하며, 웨비나와 미트업과 같은 커뮤니티 이벤트를 주최한다.
핵심 라이브러리 외에도 Evidently AI는 모델 추적 및 배포를 용이하게 하기 위해 MLflow 및 Kubeflow와 같은 다른 오픈소스 프로젝트와의 통합을 개발했다. 회사의 오픈소스에 대한 헌신은 비즈니스 모델에 반영되어 있으며, 오픈소스 라이브러리용 무료 티어와 팀 협업 및 우선 지원과 같은 고급 기능을 갖춘 상용 플랫폼용 유료 티어를 제공한다.
향후 방향
머신러닝 모델이 더 복잡해지고 널리 배포됨에 따라 강력한 모니터링 솔루션에 대한 필요성은 증가할 것으로 예상된다. Evidently AI는 Deep learning 및 Transformer (architecture) 기반 아키텍처를 포함한 새로운 유형의 모델을 다루기 위해 기능을 확장함으로써 이러한 수요에 대응할 준비가 되어 있다. 회사는 또한 설명 가능성과 공정성 지표를 플랫폼에 통합하는 방법을 모색하여 조직이 더 신뢰할 수 있는 AI 시스템을 구축하도록 돕고 있다.
2023년, Evidently AI는 Alibaba Cloud와의 파트너십을 발표하여 Alibaba Cloud 마켓플레이스에서 모니터링 솔루션을 제공하고 아시아 태평양 지역으로 범위를 확장했다. 회사는 오픈소스 라이브러리에 정기적인 업데이트를 계속 제공하며 새로운 기능을 추가하고 성능을 개선하고 있다. 책임 있는 AI에 대한 강조가 증가함에 따라, Evidently AI는 조직이 머신러닝 시스템의 상태를 유지하는 데 중요한 역할을 할 가능성이 높다.