Geschichte und Gründung
Snorkel AI wurde 2019 von Alex Ratner, Christopher Ré und weiteren Mitgliedern des Stanford AI Lab gegründet. Das Unternehmen entstand aus dem Snorkel-Forschungsprojekt, das 2015 an der Stanford University begann. Ziel des Projekts war es, den Engpass bei der Erstellung von beschrifteten Datensätzen für maschinelles Lernen zu adressieren. Die ursprüngliche Forschung unter der Leitung von Christopher Ré konzentrierte sich auf die Nutzung von schwacher Überwachung, um den Bedarf an manuell beschrifteten Daten zu reduzieren. 2019 sicherte sich das Team eine Series-A-Finanzierung in Höhe von 15 Millionen US-Dollar unter der Führung von Lightspeed Venture Partners, mit Beteiligung von GV (ehemals Google Ventures) und weiteren Investoren. Anschließend folgten weitere Finanzierungsrunden, darunter eine Series-B-Runde über 35 Millionen US-Dollar im Jahr 2021 und eine Series-C-Runde über 85 Millionen US-Dollar im Jahr 2022, wodurch die Gesamtfinanzierung auf über 135 Millionen US-Dollar anstieg.
Snorkel-Flow-Plattform
Das Flaggschiffprodukt von Snorkel AI ist Snorkel Flow, eine End-to-End-Plattform für datenzentrierte KI. Sie bietet eine visuelle Benutzeroberfläche, über die Anwender Beschriftungsfunktionen definieren können – Regeln oder Heuristiken, die Datenpunkten Labels zuweisen. Diese Funktionen können entweder in Python geschrieben oder über eine No-Code-Oberfläche erstellt werden, was sie auch für Fachexperten ohne tiefgehende Programmierkenntnisse zugänglich macht. Die Plattform nutzt anschließend ein statistisches Modell, um die Ausgaben dieser Funktionen zu kombinieren, ihre Genauigkeiten und Korrelationen zu schätzen und daraus probabilistische Labels für unbeschriftete Daten zu generieren. Darüber hinaus umfasst Snorkel Flow Funktionen für Datenexploration, Fehleranalyse und Modellverwaltung, die es Teams ermöglichen, ihre Trainingsdaten und Modellleistung iterativ zu verbessern.
Datenzentrierter KI-Ansatz
Snorkel AI vertritt die Philosophie der datenzentrierten KI, die die Bedeutung der Datenqualität gegenüber der Modellarchitektur betont. Das Unternehmen argumentiert, dass viele KI-Fehler auf schlechte Trainingsdaten zurückzuführen sind – etwa auf falsch beschriftete Beispiele, fehlende Randfälle oder verzerrte Verteilungen. Durch die gezielte Verbesserung der Daten hilft Snorkel Flow Organisationen, eine höhere Modellgenauigkeit mit weniger manuellem Aufwand zu erreichen. Dieser Ansatz ist besonders relevant in Bereichen, in denen beschriftete Daten knapp oder teuer sind, wie etwa in der medizinischen Bildgebung, der Überprüfung von Rechtsdokumenten oder der Verarbeitung natürlicher Sprache.
Anwendungsfälle
Snorkel Flow wird von verschiedenen Unternehmen in unterschiedlichen Branchen eingesetzt. Im Finanzsektor nutzen Unternehmen die Plattform beispielsweise zur Erkennung betrügerischer Transaktionen, indem sie historische Daten mit Regeln beschriften, die verdächtige Muster erfassen. Im Gesundheitswesen wird die Plattform verwendet, um Informationen aus elektronischen Patientenakten zu extrahieren, etwa um Patienten mit bestimmten Erkrankungen zu identifizieren. In der Technologiebranche hilft Snorkel Flow bei der Verbesserung der Suchrelevanz und der Moderation von Inhalten. Die Plattform unterstützt sowohl strukturierte als auch unstrukturierte Daten, einschließlich Text, Bilder und tabellarische Daten.
Integration in das maschinelle Lern-Ökosystem
Snorkel Flow ist so konzipiert, dass es sich nahtlos in gängige Frameworks und Tools für maschinelles Lernen integrieren lässt. Es kann beschriftete Datensätze in Formaten exportieren, die mit TensorFlow, PyTorch und anderen Bibliotheken kompatibel sind. Darüber hinaus unterstützt die Plattform große Sprachmodelle, indem sie es Anwendern ermöglicht, Daten für Fine-Tuning oder Evaluierung zu beschriften. Snorkel AI unterhält Partnerschaften mit Cloud-Anbietern wie AWS, Azure und Google Cloud, die die Bereitstellung auf deren Infrastruktur ermöglichen. Zusätzlich bietet das Unternehmen APIs und SDKs für den programmatischen Zugriff an, was die Integration in bestehende Datenpipelines erleichtert.
Forschung und Beiträge
Das Snorkel-Projekt hat bedeutende Beiträge zur KI-Forschung geleistet. Das ursprüngliche Paper mit dem Titel "Snorkel: Fast Training Data Creation with Weak Supervision" wurde 2017 veröffentlicht und erhielt den Best Paper Award auf der VLDB-Konferenz. Die anschließende Forschung untersuchte Themen wie Datenprogrammierung, Label-Modelle und aktives Lernen. Snorkel AI veröffentlicht weiterhin Forschungsergebnisse und stellt Open-Source-Komponenten bereit, darunter die Snorkel-Bibliothek, die in der akademischen Welt und in der Industrie weit verbreitet ist. Das Unternehmen sponsert zudem Workshops und nimmt an Konferenzen wie NeurIPS und ICML teil.
Wettbewerbsumfeld
Snorkel AI agiert im Bereich der Datenbeschriftung und KI-Entwicklungswerkzeuge und steht im Wettbewerb mit Unternehmen wie Scale AI, Labelbox und Appen, die sich auf manuelle oder halbautomatische Beschriftungsdienste konzentrieren. Snorkel AI differenziert sich jedoch durch seinen Fokus auf programmatische Beschriftung und schwache Überwachung, die für große Datensätze skalierbarer und kosteneffizienter ist. Darüber hinaus konkurriert das Unternehmen mit breiter aufgestellten KI-Plattformen wie Hugging Face und OpenAI, die ebenfalls Werkzeuge für die Modellentwicklung anbieten, sich jedoch stärker auf die Modellseite konzentrieren.
Zukunftsausblick
Stand 2024 erweitert Snorkel AI kontinuierlich die Fähigkeiten seiner Plattform, insbesondere im Bereich generative KI. Das Unternehmen hat Funktionen zur Beschriftung und Evaluierung von Daten für große Sprachmodelle eingeführt, einschließlich Techniken wie RLHF (Reinforcement Learning from Human Feedback) und Curriculum-Lernen. Snorkel AI strebt danach, eine Standard-Schicht im KI-Stack zu werden, die es Organisationen ermöglicht, zuverlässige Modelle durch systematisches Datenmanagement aufzubauen. Darüber hinaus erkundet das Unternehmen Partnerschaften mit akademischen Einrichtungen und Forschungslabors, um die Wissenschaft der datenzentrierten KI weiter voranzutreiben.
Fazit
Snorkel AI hat sich als führendes Unternehmen im Bereich der datenzentrierten KI etabliert und bietet mit Snorkel Flow eine Plattform, die die Erstellung und Verwaltung von Trainingsdaten transformiert. Durch die Nutzung schwacher Überwachung und programmatischer Beschriftung adressiert das Unternehmen einen kritischen Engpass in der KI-Entwicklung und macht den Prozess schneller und zugänglicher für Unternehmen. Mit kontinuierlichen Investitionen in Forschung und Produktinnovation ist Snorkel AI gut positioniert, um die Zukunft der KI-Trainingsmethoden mitzugestalten.