위키백과는 전 세계 자원봉사자들이 공동으로 편집하는 무료 다국어 온라인 백과사전이다. 2001년 1월 15일 지미 웨일스와 래리 생어가 시작했으며, 인터넷에 접속할 수 있는 사람이라면 누구나 문서를 만들고 수정할 수 있는 위키 모델로 운영된다. 2020년대 초 기준으로 위키백과는 300개 이상의 언어로 수백만 개의 문서를 호스팅하며, 역사상 가장 크고 자주 참조되는 참고 자료 중 하나가 되었다. 그 내용은 자유 라이선스로 공개되어 재사용과 재배포가 가능하며, 이는 인간 독자와 자동화 시스템 모두에게 중요한 자원이 되었다.
방대한 상호 참조, 인용, 계층적 분류 체계를 갖춘 이 백과사전의 구조는 계산 연구에 매우 유용한 것으로 입증되었다. 언어 간 규모와 상대적 일관성 덕분에 특히 Artificial intelligence 시스템을 훈련하고 평가하는 주요 소스로 자리 잡았으며, 특히 Machine learning 및 Natural language processing 분야에서 두드러진다.
AI 연구에서 데이터셋으로서의 역할
위키백과가 데이터셋으로서 갖는 역할은 현대 Large language model 개발의 기초가 된다. 깔끔한 백과사전식 산문과 구조화된 메타데이터는 사실적 언어를 이해하고 일관된 텍스트를 생성하도록 모델을 훈련하기 위한 고품질 코퍼스를 제공한다. OpenAI, Anthropic, Google DeepMind 등이 개발한 많은 주요 모델은 훈련 데이터의 상당 부분에 위키백과 스냅샷을 포함했다. 모든 문서의 주기적 스냅샷인 덤프 파일은 무료로 다운로드할 수 있으며, 질문 응답 및 사실 검증과 같은 수많은 벤치마크 작업에 사용되었다.
위키백과의 다국어 특성은 교차 언어 모델 훈련 및 평가도 지원한다. 연구자들은 서로 다른 언어 버전의 정렬된 문서를 활용해 병렬 코퍼스를 구축했으며, 이는 기계 번역 및 다국어 임베딩 연구에 도움이 되었다. 또한 위키백과의 편집 기록과 토론 페이지는 협력적 지식 생산을 연구하고 편향이나 문서 훼손을 탐지하는 알고리즘을 개발하는 데 사용되었다.
기술적 인프라 및 접근
위키백과는 콘텐츠에 접근할 수 있는 여러 기술적 경로를 제공한다. 사이트를 구동하는 미디어위키 소프트웨어는 프로그래밍 방식의 쿼리를 위한 API를 제공하여 개발자가 문서 텍스트, 메타데이터, 개정 기록을 가져올 수 있게 한다. 대량 분석을 위해 위키미디어 재단은 일반적으로 월 단위로 업데이트되는 완전한 데이터베이스 덤프를 SQL 및 XML 형식으로 게시한다. 이러한 덤프는 공용 서버와 미러 사이트에 호스팅되어 연구자들이 오프라인 처리를 위해 수 테라바이트의 데이터를 다운로드할 수 있게 한다.
Machine learning 실무자에게 사전 처리된 버전의 가용성은 채택을 단순화했다. 예를 들어 Hugging Face Datasets 라이브러리는 정제되고 토큰화된 위키백과 데이터셋을 제공하여 소규모 팀의 진입 장벽을 낮췄다. 이 데이터는 종종 도서 및 웹 크롤과 같은 다른 코퍼스와 함께 사용되어 다양한 훈련 혼합물을 만든다.
과제 및 한계
유용성에도 불구하고 데이터셋으로서의 위키백과는 몇 가지 과제를 제시한다. 콘텐츠는 정적이지 않으며 문서가 지속적으로 편집되어 스냅샷과 실시간 데이터 사이에 불일치가 발생할 수 있다. 이러한 역동성은 재현성을 위해 연구자가 특정 버전을 고정해야 함을 요구한다. 또한 이 백과사전은 특정 주제, 지리적 지역, 인구 통계적 관점의 과소 대표를 포함한 체계적 편향을 보여주며, 이는 이를 기반으로 훈련된 모델에 전파될 수 있다.
문서 간 사실적 정확성은 다양하며, 위키백과는 강력한 인용 요구 사항을 갖추고 있지만 오류와 문서 훼손이 지속될 수 있다. 의료 또는 법률 정보와 같이 높은 정밀도가 필요한 작업의 경우 데이터셋에 추가 필터링과 검증이 필요할 수 있다. 연구자들은 또한 위키백과 산문의 스타일이 독특하다는 점을 지적하며, 이에 크게 훈련된 모델은 대화형 응용 프로그램에 항상 적합하지 않은 공식적이고 백과사전적인 어조를 채택할 수 있다고 언급한다.
모델 개발에서의 응용
위키백과는 여러 획기적인 AI 프로젝트에서 중요한 역할을 했다. 2017년에 도입된 Transformer (architecture) 아키텍처는 사전 훈련을 위해 대규모 텍스트 코퍼스에 의존했으며, 위키백과는 표준 선택지였다. Google이 개발한 BERT와 같은 모델은 영어 위키백과를 마스크 언어 모델링에 사용하여 이해 작업에서 새로운 기준을 세웠다. 이후 OpenAI의 GPT 시리즈와 Google의 T5를 포함한 후속 모델도 이 관행을 이어갔다.
사전 훈련 외에도 위키백과는 미세 조정과 평가에 사용된다. 위키백과 문서에서 파생되거나 연결된 Natural Questions 및 TriviaQA와 같은 데이터셋은 독해 이해의 표준 벤치마크이다. 이 백과사전은 또한 지식 그래프 구축을 지원하며, DBpedia 및 YAGO와 같은 프로젝트는 정보상자와 분류에서 구조화된 데이터를 추출하여 Neural network 방법과 기호 추론을 결합한 하이브리드 AI 시스템에 사용한다.
향후 방향
위키백과와 AI의 관계는 계속 진화하고 있다. Generative AI 시스템이 더 보편화됨에 따라 위키백과를 사용하여 모델 출력을 검증 가능한 사실에 근거하게 하여 환각을 줄이는 것에 대한 관심이 증가하고 있다. 위키미디어 재단 자체의 AI 프로젝트와 같은 이니셔티브는 기계 학습을 사용하여 콘텐츠 품질과 접근성을 개선하는 방법을 탐구한다. 반대로 AI 생성 텍스트의 부상은 위키백과의 자원봉사 편집 모델의 무결성에 대한 의문을 제기하며, 합성 기여를 탐지하고 관리하는 방법에 대한 논의를 촉발하고 있다.
연구자들은 또한 모델이 새로운 위키백과 덤프로 지속적으로 재훈련되어 지식을 최신 상태로 유지하는 동적 업데이트를 탐구하고 있다. 이 접근 방식은 계산 비용이 많이 들지만 정적 데이터셋의 낡음 문제를 해결하는 데 도움이 될 수 있다. AI 연구 커뮤니티와 위키미디어 생태계 간의 지속적인 협력은 위키백과가 가까운 미래에도 데이터셋 개발의 초석으로 남을 것임을 시사한다.