LAION

LAION（大規模人工知能オープンネットワーク）は、オープンソースのAIモデルとデータセットを作成するドイツの非営利団体であり、Stable Diffusionのようなモデルの訓練に使用される大規模な画像テキストデータセットで最もよく知られている。

LAION（Large-scale Artificial Intelligence Open Networkの略称）は、オープンソースの人工知能モデルとデータセットを開発するドイツの非営利団体である。ウェブから収集した画像とキャプションの大規模データセットを複数公開したことで知られており、これらはStable DiffusionやImagenなど、数多くの注目度の高いテキストから画像を生成するモデルの訓練に使用されている。この団体は、AIリソースへのアクセスを民主化し、研究者や開発者に自由に利用できるデータとツールを提供することを目指している。

LAIONの活動は、人工知能と機械学習というより広い分野の中に位置づけられ、高度なモデルの訓練を可能にする大規模データセットの作成に焦点を当てている。そのデータセットは、生成AI、特にテキストから画像への合成の分野における研究の基盤的リソースとなっている。

歴史と設立

LAIONは、人工知能におけるオープンな研究と開発を促進するために、ドイツで非営利団体として設立された。正確な設立日は広く記録されていないが、この団体は2021年に最初の主要なデータセットを公開して注目を集めた。設立者であるAI研究者と愛好家のグループは、OpenAIのCLIPのようなモデルの訓練に利用できる大規模なデータセットが公開されていないという問題に対処することを目指していた。CLIPはコードと重みは公開されていたが、その訓練データは公開されていなかった。

この団体はボランティアベースのモデルで運営されており、AIコミュニティからの貢献に依存している。そのプロジェクトは、オープンアクセスという使命を共有する企業や個人からのパートナーシップや寄付によって資金が賄われることが多い。

画像データセット

LAIONは、画像とキャプションのペアからなる大規模なデータセットを複数公開しており、これらはAI研究者によって広く使用されている。データは、スクレイピングされたウェブページのデータセットであるCommon Crawlから派生したものである。開発者はクロールされたHTML内の<img>タグを検索し、そのalt属性をキャプションとして扱った。彼らはCLIPを使用して、コンテンツがキャプションと一致しないと思われる画像を特定し、破棄した。LAIONはスクレイピングされた画像のコンテンツ自体をホストしておらず、データセットには画像を指すURLが含まれており、研究者が自分でダウンロードする必要がある。

最初のそのようなデータセットであるLAION-400Mは、2021年8月に公開され、4億組の画像とキャプションのペアで構成されていた。これらのペアは、2014年から2021年の間にCommon Crawlによってスクレイピングされたウェブページのランダムなサブセットから抽出された。これは、OpenAIがCLIPモデルの訓練に使用した4億組の画像とキャプションのペアを収集するために使用したプロセスを再現しようとする試みであった。同社はモデルのコードと重みをオープンソース化することを選択したが、その訓練データセットは公開しなかった。2022年にGoogle Brainが発表したテキストから画像を生成するモデルであるImagenは、LAION-400Mと社内のプライベートデータセットを組み合わせて訓練された。

5億組以上の後継データセットであるLAION-5Bは、2022年3月に公開された。公開時点で、これは存在する中で最大の自由に利用できる画像とキャプションのペアのデータセットであった。その作成は、Doodlebot、Hugging Face、そしてStable Diffusionテキストから画像を生成するモデルの資金提供の背後にあるAI企業であるStability AIによって資金提供された。Stable Diffusionはこのデータセットで訓練された。

OpenAssistant

OpenAssistantは、タスクを理解し、サードパーティのシステムと対話し、情報を動的に取得してタスクを実行できる人工知能（AI）のオープンソースのチャットベースのアシスタントであった。このプロジェクトは、LAIONと協力してボランティアのグループによって開発された。開発目標の1つには、コンシューマーハードウェアでローカルに実行できる大規模言語モデルへの自由なアクセスが含まれていた。このプロジェクトは、60万件の人間が生成したデータポイントを作成した13,500人以上のボランティアからなる世界的なクラウドソーシング活動によって支えられていた。このプロジェクトはその後終了したが、データセットとモデルはHugging Faceで引き続き利用可能である。

法的および倫理的問題

2023年2月、LAIONはStable Diffusionに対するGetty Imagesの訴訟において、非当事者として名前が挙げられた。2023年4月、LAIONは訓練セットから自分の画像を削除したいと考えたドイツ人写真家によって直接訴えられた。2024年9月、ハンブルク地方裁判所はこの訴訟を却下し、これはドイツおよびEU全体における「AI訓練データのためのTDM（テキストおよびデータマイニング）例外に関する画期的な判決」と評された。

批判と論争

いくつかの研究は、LAION-5Bの画像には、レイプ、ポルノ、悪質なステレオタイプ、人種差別的および民族差別的な中傷、その他の極めて問題のあるコンテンツの画像とテキストのペアが含まれていることを示している。

バイエルン放送局による調査では、Hugging FaceでホストされているLAIONのデータセットには、公開ウェブサイトから収集された大量のプライベートで機密性の高いデータが含まれていることが示された。

2023年12月、スタンフォード大学インターネット観測所はLAION-5Bに関する報告書を発表し、児童性的虐待資料へのリンクの疑いがある事例を3,226件発見し、そのうち1,008件は外部で検証された。これを受けて、LAIONは「違法コンテンツに対するゼロトレランスポリシー」と「過剰な注意」を理由に、LAION-5BとLAION-400Mを一時的に削除した。2024年8月、LAIONはクリーニングされたデータセットであるRe-LAION-5Bを公開した。

影響と遺産

LAIONのデータセットはAIの分野に大きな影響を与え、研究者が独自のデータを必要とせずにモデルを訓練できるようにした。LAION-400MとLAION-5Bの公開は、テキストから画像を生成する分野の革新を促進し、Stable Diffusionのようなモデルは研究と商業アプリケーションの両方で広く使用されるようになった。この団体のオープンソースへの取り組みは、オープンソースの大規模言語モデルの開発など、他のイニシアチブにも影響を与えた。

論争にもかかわらず、LAIONはオープンAIエコシステムにおける主要なプレーヤーであり続け、最先端技術を進歩させるために不可欠なリソースを提供している。ドイツでの法的勝利は、AI訓練におけるウェブスクレイピングデータの使用に先例を設定し、業界に広範な影響を与える可能性がある。

今後の方向性

2025年現在、LAIONは新しいデータセットとモデルの開発を継続しており、データ品質の向上と倫理的懸念への対処に焦点を当てている。この団体はまた、AI規制とデータの責任ある使用に関する議論にも関与している。進行中のプロジェクトは、大規模データの必要性と、個人の権利の保護および有害なコンテンツの防止とのバランスを取ることを目指している。

LAIONのAIコミュニティにおける役割は依然として重要であり、OpenAI、Anthropic、Google DeepMindなどの大手テクノロジー企業の独自のアプローチに対抗する視点を提供している。オープンな代替手段を提供することで、LAIONはAI開発がアクセス可能で透明性のあるものであり続けることを保証するのに貢献している。