LAION（Large-scale Artificial Intelligence Open Networkの略）は、2021年にChristoph Schuhmannと分散したボランティア研究者グループによって設立されたドイツの非営利団体である。この組織の中心的な使命は、公開ウェブページから収集した画像とそれに関連するテキストキャプションを組み合わせた非常に大規模なデータセットを構築し、公開することであり、それによって大企業の研究所の外にいる研究者にも、以前はOpenAIやGoogleのような企業内でのみ利用可能だった種類のトレーニングデータ規模へのアクセスを提供することであった。
データセットとその役割
LAIONの最も重要なリリースは、2021年のLAION-400Mと2022年のLAION-5Bであり、それぞれ約4億組と50億組の画像とテキストのペアで構成されるデータセットで、CLIPベースの類似性スコアリングを用いて、主にコモンクロール関連のインデックスから得られたソースページに対してフィルタリングされたものである。LAION-5Bは、2022年にStability AIがリリースした拡散モデルであるStable Diffusionの主要なトレーニングデータソースとなり、また、OpenAIのオリジナルのCLIPモデルのオープンな再現であるOpenCLIPもサポートした。OpenCLIPは、画像とテキストの埋め込みや、ControlNetやその他の条件付け技術を中心に構築されたツールを含む、下流の生成パイプラインにおけるガイダンスのために広く使用されている。
CSAMの発見とクリーンアップ
2023年12月、スタンフォード大学インターネット観測所の研究者らは、LAION-5Bに児童性的虐待資料へのリンクが少数ながら含まれていることを発見した監査結果を発表した。これは、既知の違法画像データベースとのハッシュマッチングによって特定されたものである。LAIONは画像自体をホストするのではなくURLとメタデータのみを配布していたため、データセット自体が違法コンテンツを直接保存していたわけではないが、この発見は、広く使用されているStable Diffusionチェックポイントを含む完全なデータセットでトレーニングされたモデルが、トレーニング中に問題のある資料の影響を受けていた可能性があることを意味していた。LAIONは報告後直ちにデータセットの公開配布を停止し、Internet Watch Foundationおよびスタンフォード大学の研究者らと協力して問題のあるリンクをフィルタリングし、クリーンアップ版を再リリースした。この出来事は、十分なコンテンツモデレーションなしに自動化された大規模なウェブスクレイピングを通じて収集されたトレーニングデータのリスクに関するAI倫理とAIガバナンスの議論において、広く引用されるケーススタディとなった。
より広い影響
論争にもかかわらず、LAIONのデータセットはオープンな生成AI研究の基盤的インフラであり続け、組織はオーディオや多言語データセットを含む追加リソースのリリースを継続し、EleutherAIなどのグループと並んで、少数の潤沢な資金を持つ企業の外でも最先端に近い研究へのアクセスを可能にし続けることを目的とした、より広範なオープンデータ運動の一部として自らを位置づけた。CSAM事件は、データセット監査基準に関する業界全体の議論を促し、生成AI業界全体で使用されるウェブスクレイピングによるトレーニングコーパスへの監視を強める一因となった。