Snorkel AI es una empresa que desarrolla soluciones de inteligencia artificial centradas en los datos, enfocándose en el etiquetado programático y la supervisión débil para acelerar la creación de datos de entrenamiento de alta calidad para modelos de aprendizaje automático. Fundada en 2019 como una escisión del Stanford AI Lab, la empresa comercializa la investigación del proyecto Snorkel, que introdujo un paradigma para etiquetar datos de entrenamiento utilizando funciones definidas por el usuario en lugar de la anotación manual. Su plataforma, Snorkel Flow, permite a las organizaciones construir y gestionar modelos de IA mejorando iterativamente los datos de entrenamiento, reduciendo el tiempo y el costo asociados con el etiquetado de datos tradicional.
El enfoque de la empresa se basa en el concepto de supervisión débil, donde se generan etiquetas ruidosas e imperfectas de manera programática y luego se combinan mediante modelos probabilísticos para producir etiquetas de entrenamiento limpias. Este método contrasta con el proceso de etiquetado manual convencional, que suele ser costoso, lento y propenso a errores. Snorkel AI se dirige a clientes empresariales de sectores como finanzas, salud y tecnología, ofreciendo herramientas que se integran con los flujos de trabajo existentes de aprendizaje automático.
Historia y fundación
Snorkel AI fue fundada en 2019 por Alex Ratner, Christopher Ré y otros miembros del Stanford AI Lab. La empresa surgió del proyecto de investigación Snorkel, que comenzó en 2015 en la Universidad de Stanford. El proyecto tenía como objetivo abordar el cuello de botella de crear conjuntos de datos etiquetados para modelos de aprendizaje automático. La investigación inicial, liderada por Christopher Ré, se centró en el uso de supervisión débil para reducir la necesidad de datos etiquetados manualmente. En 2019, el equipo recaudó 15 millones de dólares en una ronda de financiación Serie A liderada por Lightspeed Venture Partners, con la participación de GV (anteriormente Google Ventures) y otros inversores. Posteriormente, la empresa recaudó financiación adicional, incluyendo una ronda Serie B de 35 millones de dólares en 2021 y una ronda Serie C de 85 millones de dólares en 2022, elevando su financiación total a más de 135 millones de dólares.
Plataforma Snorkel Flow
El producto insignia, Snorkel Flow, es una plataforma integral para la IA centrada en datos. Proporciona una interfaz visual para que los usuarios definan funciones de etiquetado, que son reglas o heurísticas que asignan etiquetas a los datos. Estas funciones pueden escribirse en Python o mediante una interfaz sin código, lo que las hace accesibles para expertos en dominios específicos que no tienen conocimientos profundos de programación. La plataforma utiliza un modelo estadístico para combinar las salidas de estas funciones, estimando sus precisiones y correlaciones para generar etiquetas probabilísticas para datos no etiquetados. Snorkel Flow también incluye funciones para la exploración de datos, el análisis de errores y la gestión de modelos, lo que permite a los equipos mejorar iterativamente sus datos de entrenamiento y el rendimiento de sus modelos.
Enfoque de IA centrada en datos
Snorkel AI es un defensor del movimiento de IA centrada en datos, que enfatiza la importancia de la calidad de los datos sobre la arquitectura del modelo. La empresa argumenta que muchos fallos de la IA provienen de datos de entrenamiento deficientes, como ejemplos mal etiquetados, casos límite faltantes o distribuciones sesgadas. Al centrarse en mejorar los datos, Snorkel Flow ayuda a las organizaciones a lograr una mayor precisión de los modelos con menos esfuerzo manual. Este enfoque es particularmente relevante en dominios donde los datos etiquetados son escasos o costosos, como la imagen médica, la revisión de documentos legales y el procesamiento del lenguaje natural.
Casos de uso y aplicaciones
Snorkel Flow ha sido adoptado por diversas empresas para resolver problemas del mundo real. Por ejemplo, en el sector financiero, las empresas lo utilizan para detectar transacciones fraudulentas etiquetando datos históricos con reglas que capturan patrones sospechosos. En el ámbito de la salud, se ha utilizado para extraer información de registros médicos electrónicos, como la identificación de pacientes con condiciones específicas. En la industria tecnológica, ayuda a mejorar la relevancia de las búsquedas y la moderación de contenido. La plataforma admite tanto datos estructurados como no estructurados, incluyendo texto, imágenes y datos tabulares.
Integración con el ecosistema de aprendizaje automático
Snorkel Flow está diseñado para integrarse con frameworks y herramientas populares de aprendizaje automático. Puede exportar conjuntos de datos etiquetados en formatos compatibles con TensorFlow, PyTorch y otras bibliotecas. La plataforma también admite grandes modelos de lenguaje al permitir a los usuarios etiquetar datos para fine-tuning o evaluación. Snorkel AI tiene alianzas con proveedores de nube como AWS, Azure y Google Cloud, lo que facilita su implementación en su infraestructura. Además, la empresa ofrece API y SDK para acceso programático, permitiendo la integración con pipelines de datos existentes.
Investigación y contribuciones
El proyecto Snorkel ha realizado contribuciones significativas al campo de la inteligencia artificial. El artículo original, "Snorkel: Fast Training Data Creation with Weak Supervision", fue publicado en 2017 y recibió el premio al mejor artículo en la conferencia VLDB. Investigaciones posteriores han explorado temas como la programación de datos, los modelos de etiquetas y el aprendizaje activo. Snorkel AI continúa publicando investigaciones y componentes de código abierto, como la biblioteca Snorkel, que es ampliamente utilizada en el ámbito académico e industrial. La empresa también patrocina talleres y participa en conferencias como NeurIPS e ICML.
Panorama competitivo
Snorkel AI opera en el espacio competitivo de las herramientas de etiquetado de datos y desarrollo de IA. Sus competidores incluyen empresas como Scale AI, Labelbox y Appen, que se centran en servicios de etiquetado manual o semiautomático. Sin embargo, Snorkel AI se diferencia al enfatizar el etiquetado programático y la supervisión débil, que pueden ser más escalables y rentables para grandes conjuntos de datos. La empresa también compite con plataformas de IA más amplias como Hugging Face y OpenAI en cuanto a herramientas para el desarrollo de modelos, aunque su enfoque específico es la gestión de datos de entrenamiento.
Direcciones futuras
A partir de 2024, Snorkel AI continúa expandiendo las capacidades de su plataforma, particularmente en el área de IA generativa. La empresa ha introducido funciones para etiquetar y evaluar datos para grandes modelos de lenguaje, incluyendo técnicas para RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) y aprendizaje curricular. Snorkel AI tiene como objetivo convertirse en una capa estándar en la pila de IA, permitiendo a las organizaciones construir modelos confiables mediante la gestión sistemática de datos. La empresa también está explorando alianzas con instituciones académicas y laboratorios de investigación para avanzar en la ciencia de la IA centrada en datos.
Conclusión
Snorkel AI se ha establecido como un líder en el movimiento de IA centrada en datos, ofreciendo una plataforma que transforma la forma en que se crean y gestionan los datos de entrenamiento. Al aprovechar la supervisión débil y el etiquetado programático, la empresa aborda un cuello de botella crítico en el desarrollo de IA, haciendo que sea más rápido y accesible para las empresas implementar modelos precisos. Con una inversión continua en investigación e innovación de productos, Snorkel AI está bien posicionada para dar forma al futuro de las metodologías de entrenamiento de IA.