LAION, kurz für Large-scale Artificial Intelligence Open Network, ist eine deutsche Non-Profit-Organisation, die 2021 von Christoph Schuhmann zusammen mit einer verteilten Gruppe von freiwilligen Forschern gegründet wurde. Die Kernmission der Organisation war es, sehr große Datensätze zu erstellen und öffentlich zugänglich zu machen, die Bilder mit ihren zugehörigen Textbeschreibungen kombinieren, die von öffentlichen Webseiten gesammelt wurden, um Forschern außerhalb großer Unternehmenslabore Zugang zu einer Trainingsdaten-Skala zu ermöglichen, die zuvor nur innerhalb von Unternehmen wie OpenAI und Google verfügbar war.
Datensätze und ihre Rolle
Die bedeutendsten Veröffentlichungen von LAION waren LAION-400M im Jahr 2021 und LAION-5B im Jahr 2022, Datensätze mit etwa 400 Millionen bzw. 5 Milliarden Bild-Text-Paaren, die mithilfe von CLIP-basierter Ähnlichkeitsbewertung gegen Quellseiten gefiltert wurden, die größtenteils aus Indizes im Zusammenhang mit Common Crawl stammten. LAION-5B wurde zur primären Trainingsdatenquelle für Stable Diffusion, das Diffusionsmodell, das 2022 von Stability AI veröffentlicht wurde, und unterstützte auch OpenCLIP, eine offene Nachbildung von OpenAIs ursprünglichem CLIP-Modell, das häufig für Bild-Text-Einbettungen und zur Steuerung in nachgelagerten generativen Pipelines verwendet wird, einschließlich Tools, die um ControlNet und andere Konditionierungstechniken herum aufgebaut sind.
Die CSAM-Entdeckung und Bereinigung
Im Dezember 2023 veröffentlichten Forscher des Stanford Internet Observatory eine Prüfung, die ergab, dass LAION-5B eine kleine, aber nicht vernachlässigbare Anzahl von Links zu Material über sexuellen Kindesmissbrauch enthielt, identifiziert durch Hash-Abgleich gegen bekannte illegale Bilddatenbanken. Da LAION nur URLs und Metadaten verteilte und die Bilder selbst nicht hostete, speicherte der Datensatz selbst die illegalen Inhalte nicht direkt, aber der Befund bedeutete, dass Modelle, die auf dem vollständigen Datensatz trainiert wurden, einschließlich weit verbreiteter Stable-Diffusion-Checkpoints, plausibel während des Trainings von problematischem Material beeinflusst worden sein könnten. LAION entfernte den Datensatz unmittelbar nach dem Bericht aus der öffentlichen Verteilung und arbeitete mit der Internet Watch Foundation und den Stanford-Forschern zusammen, um die problematischen Links zu filtern, bevor eine bereinigte Version erneut veröffentlicht wurde. Der Vorfall wurde zu einer vielzitierten Fallstudie in Diskussionen über KI-Ethik und KI-Governance über die Risiken von Trainingsdaten, die durch automatisierte groß angelegte Web-Scraping ohne ausreichende Inhaltsmoderation zusammengestellt wurden.
Breitere Auswirkungen
Trotz der Kontroverse blieben die Datensätze von LAION grundlegende Infrastruktur für offene generative KI-Forschung, und die Organisation veröffentlichte weiterhin zusätzliche Ressourcen, einschließlich Audio- und mehrsprachiger Datensätze, und positionierte sich neben Gruppen wie EleutherAI als Teil einer breiteren Bewegung für offene Daten, die darauf abzielt, forschungsnahe Arbeiten außerhalb einer kleinen Anzahl gut ausgestatteter Unternehmen zugänglich zu halten. Der CSAM-Vorfall löste breitere Branchengespräche über Standards für die Prüfung von Datensätzen aus und trug zu einer verstärkten Überprüfung von Web-Scraping-Trainingskorpora bei, die in der gesamten generativen KI-Branche verwendet werden.