Evidently AI ist ein Technologieunternehmen, das Open-Source-Werkzeuge zur Überwachung und Diagnose von maschinellen Lernmodellen in der Produktion entwickelt. Das 2020 von Emeli Dral und Michael Tsanev gegründete Unternehmen bietet eine Suite von Bibliotheken und Diensten, die Dateningenieuren und Datenwissenschaftlern helfen, Datenabweichungen, Modellverschlechterungen und andere Probleme zu erkennen, die nach der Bereitstellung auftreten können. Die Plattform wird in Branchen wie Finanzwesen, Gesundheitswesen und E-Commerce häufig eingesetzt, um die Zuverlässigkeit und Fairness von KI-Systemen zu gewährleisten.
Der Kern des Angebots von Evidently AI ist seine Open-Source-Python-Bibliothek, die interaktive Berichte und Dashboards aus Modellvorhersagen und Daten generiert. Diese Berichte decken eine Reihe von Analysen ab, einschließlich Erkennung von Datenabweichungen, Bewertung der Modellleistung und Feature-Wichtigkeit. Die Bibliothek integriert sich in gängige Frameworks für maschinelles Lernen und Datenverarbeitungswerkzeuge, was sie zu einer praktischen Wahl für Teams macht, die bereits maschinelles Lernen-Workflows verwenden. Im Jahr 2022 führte das Unternehmen eine kommerzielle Plattform ein, die Überwachungs-, Warn- und Kollaborationsfunktionen auf der Grundlage der Open-Source-Bibliothek hinzufügt.
Geschichte und Finanzierung
Evidently AI wurde 2020 von Emeli Dral und Michael Tsanev gegründet, die beide über Erfahrung in Datenwissenschaft und Ingenieurwesen verfügten. Das Unternehmen hat seinen Hauptsitz in London, Vereinigtes Königreich. Im Jahr 2021 sammelte Evidently AI eine Seed-Finanzierungsrunde in Höhe von 2,5 Millionen US-Dollar ein, die von der Risikokapitalgesellschaft Crane Venture Partners angeführt wurde, mit Beteiligung weiterer Investoren. Diese Finanzierung wurde verwendet, um das Team zu erweitern und die Entwicklung der kommerziellen Plattform zu beschleunigen. Bis 2023 war das Unternehmen auf Tausende von Open-Source-Nutzern und Dutzende von Unternehmenskunden angewachsen.
Kernfunktionen
Die Plattform von Evidently AI bietet mehrere wichtige Funktionen für die Überwachung von maschinellem Lernen. Die Erkennung von Datenabweichungen ist eine primäre Funktion, die statistische Tests und Distanzmetriken verwendet, um aktuelle Datenverteilungen mit einer Referenzbasis zu vergleichen. Dies hilft zu identifizieren, wann sich die Eingabedaten im Laufe der Zeit ändern, was zu einer Verschlechterung der Modellleistung führen kann. Die Plattform verfolgt auch Modellqualitätsmetriken wie Genauigkeit, Präzision, Recall und F1-Score, sodass Teams die Leistung auf rollierender Basis überwachen können.
Eine weitere wichtige Funktion ist die Fähigkeit, detaillierte Berichte zu generieren, die numerische Metriken mit Visualisierungen kombinieren. Diese Berichte können als HTML- oder JSON-Dateien exportiert werden, was das Teilen von Ergebnissen mit Stakeholdern erleichtert. Die Open-Source-Bibliothek unterstützt sowohl tabellarische Daten als auch Textdaten und kann mit Systemen auf Basis von großen Sprachmodellen für Aufgaben wie Stimmungsanalyse oder Textklassifikation verwendet werden. Darüber hinaus umfasst die Plattform ein Dashboard, das einen Echtzeit-Überblick über die Modellgesundheit bietet, mit Warnungen, die ausgelöst werden, wenn Metriken vordefinierte Schwellenwerte überschreiten.
Integration und Anwendungsfälle
Evidently AI ist so konzipiert, dass es sich nahtlos in bestehende Pipelines für maschinelles Lernen integriert. Es funktioniert mit gängigen Datenverarbeitungs- und Orchestrierungswerkzeugen wie Apache Airflow, Prefect und Dagster sowie mit Cloud-Diensten wie Amazon Web Services und Google Cloud. Die Bibliothek kann in Jupyter-Notebooks für Ad-hoc-Analysen verwendet oder als Teil eines kontinuierlichen Überwachungssystems bereitgestellt werden. Häufige Anwendungsfälle umfassen die Überwachung von Modellen zur Vorhersage der Kundenabwanderung, Betrugserkennungssystemen und Empfehlungsmaschinen.
In der Praxis verwenden Teams Evidently AI, um zu validieren, dass ihre Modelle im Laufe der Zeit genau und unvoreingenommen bleiben. Beispielsweise könnte ein Finanzinstitut die Plattform verwenden, um ein Kreditbewertungsmodell auf Abweichungen in den demografischen Daten der Antragsteller zu überwachen und sicherzustellen, dass das Modell nicht versehentlich bestimmte Gruppen diskriminiert. Ebenso könnte ein E-Commerce-Unternehmen Änderungen im Nutzerverhalten verfolgen, die ein Produktempfehlungsmodell beeinflussen könnten.
Open Source und Community
Der Open-Source-Charakter von Evidently AI hat zu seiner Beliebtheit beigetragen. Die Bibliothek ist auf GitHub unter der Apache-2.0-Lizenz verfügbar und hat Beiträge von einer Community aus Entwicklern und Datenwissenschaftlern erhalten. Das Projekt hat erhebliche Traktion gewonnen, mit Tausenden von Sternen auf GitHub und der Übernahme durch Unternehmen weltweit. Das Unternehmen pflegt auch Dokumentationen und Tutorials, um Benutzern den Einstieg zu erleichtern, und veranstaltet Community-Events wie Webinare und Meetups.
Zusätzlich zur Kernbibliothek hat Evidently AI Integrationen mit anderen Open-Source-Projekten wie MLflow und Kubeflow entwickelt, um die Modellverfolgung und -bereitstellung zu erleichtern. Das Engagement des Unternehmens für Open Source spiegelt sich in seinem Geschäftsmodell wider, das eine kostenlose Stufe für die Open-Source-Bibliothek und eine kostenpflichtige Stufe für die kommerzielle Plattform mit erweiterten Funktionen wie Teamzusammenarbeit und Prioritäts-Support bietet.
Zukunftsaussichten
Da maschinelle Lernmodelle komplexer und breiter eingesetzt werden, wird erwartet, dass der Bedarf an robusten Überwachungslösungen wächst. Evidently AI ist positioniert, um diese Nachfrage zu adressieren, indem es seine Fähigkeiten erweitert, um neue Modelltypen abzudecken, einschließlich Deep-Learning- und Transformer-basierten Architekturen. Das Unternehmen untersucht auch Möglichkeiten, Erklärbarkeits- und Fairness-Metriken in seine Plattform zu integrieren, um Organisationen beim Aufbau vertrauenswürdigerer KI-Systeme zu helfen.
Im Jahr 2023 kündigte Evidently AI eine Partnerschaft mit Alibaba Cloud an, um seine Überwachungslösungen auf dem Alibaba-Cloud-Marktplatz anzubieten und seine Reichweite auf die Region Asien-Pazifik auszudehnen. Das Unternehmen veröffentlicht weiterhin regelmäßige Updates seiner Open-Source-Bibliothek, fügt neue Funktionen hinzu und verbessert die Leistung. Mit dem zunehmenden Fokus auf verantwortungsvolle KI wird Evidently AI wahrscheinlich eine Schlüsselrolle dabei spielen, Organisationen dabei zu helfen, die Gesundheit ihrer maschinellen Lernsysteme zu erhalten.