Evidently AI es una empresa tecnológica que desarrolla herramientas de código abierto para monitorear y diagnosticar modelos de aprendizaje automático en producción. Fundada en 2020 por Emeli Dral y Michael Tsanev, la empresa ofrece un conjunto de bibliotecas y servicios que ayudan a científicos de datos e ingenieros a detectar deriva de datos, degradación de modelos y otros problemas que pueden surgir después del despliegue. La plataforma se utiliza ampliamente en industrias como finanzas, salud y comercio electrónico para garantizar la fiabilidad y equidad de los sistemas de IA.
El núcleo de la oferta de Evidently AI es su biblioteca de Python de código abierto, que genera informes interactivos y paneles de control a partir de predicciones de modelos y datos. Estos informes cubren una variedad de análisis, incluyendo detección de deriva de datos, evaluación del rendimiento del modelo y importancia de características. La biblioteca se integra con marcos populares de aprendizaje automático y herramientas de procesamiento de datos, lo que la convierte en una opción práctica para equipos que ya utilizan flujos de trabajo de aprendizaje automático. En 2022, la empresa introdujo una plataforma comercial que añade funciones de monitoreo, alertas y colaboración sobre la biblioteca de código abierto.
Historia y Financiación
Evidently AI fue fundada en 2020 por Emeli Dral y Michael Tsanev, ambos con experiencia previa en ciencia de datos e ingeniería. La empresa tiene su sede en Londres, Reino Unido. En 2021, Evidently AI recaudó una ronda semilla de $2.5 millones liderada por el fondo de capital de riesgo Crane Venture Partners, con participación de otros inversores. Esta financiación se utilizó para expandir el equipo y acelerar el desarrollo de la plataforma comercial. Para 2023, la empresa había crecido para servir a miles de usuarios de código abierto y docenas de clientes empresariales.
Características Principales
La plataforma de Evidently AI ofrece varias capacidades clave para el monitoreo de aprendizaje automático. La detección de deriva de datos es una característica principal, que utiliza pruebas estadísticas y métricas de distancia para comparar las distribuciones de datos actuales contra una línea base de referencia. Esto ayuda a identificar cuándo los datos de entrada cambian con el tiempo, lo que puede llevar a una degradación del rendimiento del modelo. La plataforma también rastrea métricas de calidad del modelo como precisión, exactitud, recall y puntuación F1, permitiendo a los equipos monitorear el rendimiento de forma continua.
Otra característica importante es la capacidad de generar informes detallados que combinan métricas numéricas con visualizaciones. Estos informes pueden exportarse como archivos HTML o JSON, lo que facilita compartir hallazgos con las partes interesadas. La biblioteca de código abierto admite tanto datos tabulares como datos de texto, y puede utilizarse con sistemas basados en modelos de lenguaje grandes para tareas como análisis de sentimiento o clasificación de texto. Además, la plataforma incluye un panel de control que proporciona una visión general en tiempo real de la salud del modelo, con alertas activadas cuando las métricas superan umbrales predefinidos.
Integración y Casos de Uso
Evidently AI está diseñado para integrarse sin problemas en los flujos de trabajo existentes de aprendizaje automático. Funciona con herramientas populares de procesamiento de datos y orquestación como Apache Airflow, Prefect y Dagster, así como con servicios en la nube como Amazon Web Services y Google Cloud. La biblioteca puede utilizarse en cuadernos de Jupyter para análisis ad-hoc o desplegarse como parte de un sistema de monitoreo continuo. Los casos de uso comunes incluyen el monitoreo de modelos de predicción de abandono de clientes, sistemas de detección de fraude y motores de recomendación.
En la práctica, los equipos utilizan Evidently AI para validar que sus modelos sigan siendo precisos e imparciales con el tiempo. Por ejemplo, una institución financiera podría utilizar la plataforma para monitorear un modelo de puntuación de crédito por deriva en la demografía de los solicitantes, asegurando que el modelo no discrimine inadvertidamente contra ciertos grupos. De manera similar, una empresa de comercio electrónico podría rastrear cambios en el comportamiento de los usuarios que podrían afectar un modelo de recomendación de productos.
Código Abierto y Comunidad
La naturaleza de código abierto de Evidently AI ha contribuido a su popularidad. La biblioteca está disponible en GitHub bajo la licencia Apache 2.0, y ha recibido contribuciones de una comunidad de desarrolladores y científicos de datos. El proyecto ha ganado un impulso significativo, con miles de estrellas en GitHub y adopción por empresas en todo el mundo. La empresa también mantiene documentación y tutoriales para ayudar a los usuarios a comenzar, y organiza eventos comunitarios como seminarios web y reuniones.
Además de la biblioteca principal, Evidently AI ha desarrollado integraciones con otros proyectos de código abierto, como MLflow y Kubeflow, para facilitar el rastreo y despliegue de modelos. El compromiso de la empresa con el código abierto se refleja en su modelo de negocio, que ofrece un nivel gratuito para la biblioteca de código abierto y un nivel de pago para la plataforma comercial con funciones avanzadas como colaboración en equipo y soporte prioritario.
Direcciones Futuras
A medida que los modelos de aprendizaje automático se vuelven más complejos y ampliamente desplegados, se espera que la necesidad de soluciones robustas de monitoreo crezca. Evidently AI está posicionado para abordar esta demanda expandiendo sus capacidades para cubrir nuevos tipos de modelos, incluyendo arquitecturas basadas en aprendizaje profundo y transformadores. La empresa también está explorando formas de incorporar métricas de explicabilidad y equidad en su plataforma, ayudando a las organizaciones a construir sistemas de IA más confiables.
En 2023, Evidently AI anunció una asociación con Alibaba Cloud para ofrecer sus soluciones de monitoreo en el mercado de Alibaba Cloud, extendiendo su alcance a la región de Asia-Pacífico. La empresa continúa lanzando actualizaciones regulares a su biblioteca de código abierto, añadiendo nuevas funciones y mejorando el rendimiento. Con el creciente énfasis en la IA responsable, Evidently AI probablemente desempeñará un papel clave en ayudar a las organizaciones a mantener la salud de sus sistemas de aprendizaje automático.