LAION(대규모 인공지능 오픈 네트워크의 약자)은 2021년 크리스토프 슈만(Christoph Schuhmann)과 분산된 자원봉사 연구자 그룹이 설립한 독일의 비영리 단체입니다. 이 조직의 핵심 임무는 공개 웹 페이지에서 수집한 이미지와 관련 텍스트 캡션을 짝지은 매우 큰 데이터셋을 구축하고 공개적으로 배포하여, 대기업 연구소 외부의 연구자들이 이전에는 OpenAI나 Google과 같은 기업 내부에서만 접근할 수 있었던 훈련 데이터 규모를 활용할 수 있게 하는 것이었습니다.
데이터셋과 그 역할
LAION의 가장 중요한 배포물은 2021년의 LAION-400M과 2022년의 LAION-5B로, 각각 약 4억 개와 50억 개의 이미지-텍스트 쌍으로 구성된 데이터셋이며, 주로 커먼 크롤 관련 인덱스에서 가져온 소스 페이지를 대상으로 CLIP 기반 유사도 점수를 사용하여 필터링되었습니다. LAION-5B는 2022년 스태빌리티 AI가 출시한 확산 모델인 스테이블 디퓨전의 주요 훈련 데이터 소스가 되었으며, 또한 OpenAI의 원래 CLIP 모델을 오픈 소스로 재현한 OpenCLIP을 지원했습니다. OpenCLIP은 이미지-텍스트 임베딩 및 컨트롤넷과 같은 조건화 기법을 포함한 다운스트림 생성 파이프라인에서 널리 사용되었습니다.
CSAM 발견과 정화 작업
2023년 12월, 스탠포드 인터넷 천문대(Stanford Internet Observatory)의 연구자들은 LAION-5B에 아동 성적 학대 자료에 대한 링크가 소수이지만 0이 아닌 수로 포함되어 있다는 감사 결과를 발표했습니다. 이는 알려진 불법 이미지 데이터베이스와의 해시 매칭을 통해 식별되었습니다. LAION은 이미지 자체를 호스팅하지 않고 URL과 메타데이터만 배포했기 때문에 데이터셋 자체가 불법 콘텐츠를 직접 저장하지는 않았지만, 이 발견은 전체 데이터셋으로 훈련된 모델(널리 사용되는 스테이블 디퓨전 체크포인트 포함)이 훈련 중 문제가 있는 자료의 영향을 받았을 가능성이 있음을 의미했습니다. LAION은 보고 직후 데이터셋을 공개 배포에서 제거하고, 인터넷 감시 재단(Internet Watch Foundation) 및 스탠포드 연구자들과 협력하여 문제 링크를 필터링한 후 정화된 버전을 재배포했습니다. 이 사건은 충분한 콘텐츠 중재 없이 자동화된 대규모 웹 스크래핑으로 조합된 훈련 데이터의 위험에 관한 AI 윤리 및 AI 거버넌스 논의에서 널리 인용되는 사례 연구가 되었습니다.
더 넓은 영향
논란에도 불구하고 LAION의 데이터셋은 오픈 생성 AI 연구의 기반 인프라로 남아 있었으며, 조직은 오디오 및 다국어 데이터셋을 포함한 추가 리소스를 계속 배포하여 엘류테르 AI와 같은 그룹과 함께 소수의 자원이 풍부한 기업 외부에서도 최첨단에 가까운 연구에 접근할 수 있도록 하는 더 넓은 오픈 데이터 운동의 일부로 자리 잡았습니다. CSAM 사건은 데이터셋 감사 표준에 대한 더 넓은 업계 논의를 촉발했으며, 생성 AI 산업 전반에서 사용되는 웹 스크래핑 훈련 코퍼스에 대한 조사를 강화하는 데 기여했습니다.