Evidentemente, a Evidently AI é uma empresa de tecnologia que desenvolve ferramentas de código aberto para monitoramento e diagnóstico de modelos de machine learning em produção. Fundada em 2020 por Emeli Dral e Michael Tsanev, a empresa oferece um conjunto de bibliotecas e serviços que ajudam cientistas de dados e engenheiros a detectar drift de dados, degradação de modelos e outros problemas que podem surgir após a implantação. A plataforma é amplamente utilizada em setores como finanças, saúde e comércio eletrônico para garantir a confiabilidade e a imparcialidade dos sistemas de IA.
O núcleo da oferta da Evidently AI é sua biblioteca Python de código aberto, que gera relatórios interativos e painéis a partir de previsões de modelos e dados. Esses relatórios abrangem uma série de análises, incluindo detecção de drift de dados, avaliação de desempenho do modelo e importância de características. A biblioteca integra-se a frameworks populares de machine learning e ferramentas de processamento de dados, tornando-a uma escolha prática para equipes que já utilizam fluxos de trabalho de Machine learning. Em 2022, a empresa lançou uma plataforma comercial que adiciona recursos de monitoramento, alertas e colaboração sobre a biblioteca de código aberto.
História e Financiamento
A Evidently AI foi fundada em 2020 por Emeli Dral e Michael Tsanev, ambos com experiência prévia em ciência de dados e engenharia. A empresa tem sede em Londres, Reino Unido. Em 2021, a Evidently AI levantou uma rodada seed de US$ 2,5 milhões liderada pela firma de capital de risco Crane Venture Partners, com participação de outros investidores. Esse financiamento foi usado para expandir a equipe e acelerar o desenvolvimento da plataforma comercial. Em 2023, a empresa já atendia milhares de usuários de código aberto e dezenas de clientes empresariais.
Principais Recursos
A plataforma Evidently AI oferece várias capacidades essenciais para o monitoramento de machine learning. A detecção de drift de dados é um recurso principal, usando testes estatísticos e métricas de distância para comparar as distribuições de dados atuais com uma linha de base de referência. Isso ajuda a identificar quando os dados de entrada mudam ao longo do tempo, o que pode levar à degradação do desempenho do modelo. A plataforma também acompanha métricas de qualidade do modelo, como acurácia, precisão, recall e F1 score, permitindo que as equipes monitorem o desempenho de forma contínua.
Outro recurso importante é a capacidade de gerar relatórios detalhados que combinam métricas numéricas com visualizações. Esses relatórios podem ser exportados como arquivos HTML ou JSON, facilitando o compartilhamento de descobertas com as partes interessadas. A biblioteca de código aberto suporta tanto dados tabulares quanto dados de texto, e pode ser usada com sistemas baseados em modelos de linguagem de grande escala para tarefas como análise de sentimentos ou classificação de texto. Além disso, a plataforma inclui um painel que fornece uma visão geral em tempo real da saúde do modelo, com alertas acionados quando as métricas excedem limites predefinidos.
Integração e Casos de Uso
A Evidently AI é projetada para integrar-se perfeitamente a pipelines de machine learning existentes. Ela funciona com ferramentas populares de processamento de dados e orquestração, como Apache Airflow, Prefect e Dagster, bem como com serviços em nuvem como Amazon Web Services e Google Cloud. A biblioteca pode ser usada em notebooks Jupyter para análises ad hoc ou implantada como parte de um sistema de monitoramento contínuo. Casos de uso comuns incluem o monitoramento de modelos de previsão de churn de clientes, sistemas de detecção de fraude e mecanismos de recomendação.
Na prática, as equipes usam a Evidently AI para validar que seus modelos permanecem precisos e imparciais ao longo do tempo. Por exemplo, uma instituição financeira pode usar a plataforma para monitorar um modelo de pontuação de crédito quanto ao drift na demografia dos candidatos, garantindo que o modelo não discrimine inadvertidamente certos grupos. Da mesma forma, uma empresa de comércio eletrônico pode acompanhar mudanças no comportamento do usuário que possam afetar um modelo de recomendação de produtos.
Código Aberto e Comunidade
A natureza de código aberto da Evidently AI contribuiu para sua popularidade. A biblioteca está disponível no GitHub sob a licença Apache 2.0 e recebeu contribuições de uma comunidade de desenvolvedores e cientistas de dados. O projeto ganhou tração significativa, com milhares de estrelas no GitHub e adoção por empresas em todo o mundo. A empresa também mantém documentação e tutoriais para ajudar os usuários a começar, e organiza eventos comunitários, como webinars e meetups.
Além da biblioteca principal, a Evidently AI desenvolveu integrações com outros projetos de código aberto, como MLflow e Kubeflow, para facilitar o rastreamento e a implantação de modelos. O compromisso da empresa com o código aberto se reflete em seu modelo de negócios, que oferece um nível gratuito para a biblioteca de código aberto e um nível pago para a plataforma comercial, com recursos avançados como colaboração em equipe e suporte prioritário.
Direções Futuras
À medida que os modelos de machine learning se tornam mais complexos e amplamente implantados, espera-se que a necessidade de soluções robustas de monitoramento cresça. A Evidently AI está posicionada para atender a essa demanda expandindo suas capacidades para cobrir novos tipos de modelos, incluindo arquiteturas baseadas em deep learning e transformers. A empresa também está explorando maneiras de incorporar métricas de explicabilidade e imparcialidade em sua plataforma, ajudando organizações a construir sistemas de IA mais confiáveis.
Em 2023, a Evidently AI anunciou uma parceria com a Alibaba Cloud para oferecer suas soluções de monitoramento no marketplace da Alibaba Cloud, estendendo seu alcance à região da Ásia-Pacífico. A empresa continua lançando atualizações regulares em sua biblioteca de código aberto, adicionando novos recursos e melhorando o desempenho. Com a ênfase crescente na IA responsável, é provável que a Evidently AI desempenhe um papel fundamental em ajudar organizações a manter a saúde de seus sistemas de machine learning.