BigScience는 2022년에 출시된 대규모 언어 모델인 BLOOM을 개발한 공개 연구 협력체이다. 이 계획은 다양한 기관의 수백 명의 연구자들을 한데 모아 독점적 노력과 대비되는 공개 접근 가능한 모델을 구축하는 데 목적을 두었다. 그 목표는 개방성, 재현성, 그리고 커뮤니티 참여를 통해 인공지능 연구를 발전시키는 것이었다.
이 프로젝트는 2021년에 시작되었으며, Hugging Face가 조정을 맡았고 프랑스 정부와 다양한 학술 파트너를 포함한 조직들의 지원을 받았다. BigScience는 소수의 대기업에 AI 개발이 집중되는 것에 대한 우려를 해소하기 위해 협력적이고 투명한 대안을 만드는 것을 목표로 했다. 그 결과로 탄생한 모델인 BLOOM은 다국어 데이터 세트로 훈련되었으며, 개방형 라이선스로 제공되었다.
기원과 목표
BigScience는 AI 커뮤니티 내에서 보다 포용적이고 윤리적인 대규모 언어 모델 개발의 필요성에 대한 논의에서 출발했다. 이 협력체는 2021년 5월에 공식적으로 발표되었으며, 전문성과 계산 자원을 결집하려는 의도를 담고 있었다. 주요 목표에는 최첨단 모델 생산, 전체 과정 문서화, 책임 있는 AI 연구를 위한 모범 사례 수립이 포함되었다.
이 계획은 그 규모와 다양성에서 주목할 만했으며, 70개국 이상에서 1,000명 이상의 기여자가 참여했다. 참가자에는 학계, 산업계, 시민 사회의 연구자들이 포함되어 다양한 관점을 반영했다. BigScience는 협력적이고 개방적인 연구가 충분한 자금을 지원받는 기업 연구소의 성과와 견줄 수 있음을 입증하고자 했다.
BLOOM 모델
BLOOM(BigScience Large Open-science Open-access Multilingual)은 1760억 개의 매개변수를 가진 트랜스포머 기반 신경망이다. 이 모델은 46개 자연어와 13개 프로그래밍 언어로 된 1.6테라바이트 이상의 텍스트로 구성된 ROOTS라는 데이터 세트로 훈련되었다. 훈련에는 프랑스 정부의 지원금으로 제공된 프랑스의 Jean Zay 슈퍼컴퓨터가 사용되었다.
BLOOM은 자원이 부족한 언어를 포함한 여러 언어에서 텍스트 생성과 이해를 지원하도록 설계되었다. 그 구조는 다중 헤드 어텐션과 다른 표준 트랜스포머 구성 요소를 포함하지만, 효율성과 안정성을 위해 수정되었다. 이 모델은 2022년 7월에 유해한 응용을 방지하기 위한 사용 제한을 포함하는 Responsible AI License 하에 출시되었다.
훈련 데이터와 방법론
ROOTS 데이터 세트는 참여적 과정을 통해 구성되었으며, 자원봉사자들이 웹 크롤링, 학술 논문 및 기타 출처를 선별하고 필터링했다. 데이터 품질과 출처에 중점을 두었으며, 수집 및 전처리 단계에 대한 상세한 문서화가 이루어졌다. 이러한 투명성은 훈련 데이터를 비밀로 유지하는 경우가 많은 많은 독점 모델과는 대조되는 점이었다.
BLOOM 훈련은 상당한 계산 자원을 필요로 했으며, 수개월에 걸쳐 수천 개의 GPU를 사용했다. 협력체는 안정적인 훈련을 보장하기 위해 기울기 클리핑 및 층 정규화와 같은 기술을 사용했다. 프로젝트는 또한 상세한 로그와 분석을 게시하여 다른 사람들이 이 작업을 재현하거나 기반으로 삼을 수 있도록 했다.
거버넌스와 윤리
BigScience는 윤리, 법적 문제, 커뮤니티 참여에 관한 작업 그룹을 포함하는 거버넌스 구조를 수립했다. 이 그룹들은 책임 있는 데이터 수집, 모델 배포 및 잠재적 오용에 대한 지침을 개발했다. 협력체는 또한 윤리적 검토를 수행하고 영향을 받는 커뮤니티의 의견을 구했다.
주목할 만한 성과 중 하나는 감시나 차별과 같은 고위험 영역에서 BLOOM의 사용을 제한하는 Responsible AI License의 창설이었다. 이 라이선스는 개방성과 책임성을 균형 있게 유지하도록 설계되었으며, 당시에는 새로운 접근 방식이었다. 프로젝트는 또한 기능, 한계 및 의도된 용도를 설명하는 모델 카드를 게시했다.
영향과 평가
BLOOM은 접근성과 다국어 기능, 특히 상업적 모델에서 종종 소홀히 다루어지는 언어에 대해 널리 칭찬을 받았다. 이는 개방 연구의 기준을 제공하여 협력적 노력이 경쟁력 있는 결과를 생산할 수 있음을 보여주었다. 프로젝트는 또한 이후 계획들, 예를 들어 다른 개방형 모델의 생성과 데이터 거버넌스에 대한 관심 증가에 영향을 미쳤다.
비평가들은 BLOOM의 성능이 일부 작업에서 일부 독점 모델보다 뒤처졌으며, 그 크기로 인해 소규모 조직의 배포가 어렵다고 지적했다. 그럼에도 불구하고 BLOOM의 출시는 오픈소스 AI를 향한 더 넓은 운동에 기여했으며, 많은 후속 모델들이 그 접근 방식에서 영감을 얻었다.
유산과 향후 방향
BigScience는 BLOOM 출시와 함께 주요 단계를 마무리했지만, 그 유산은 진행 중인 개방 연구 노력에 계속 남아 있다. 협력체는 다양한 참여와 투명한 방법론의 가치를 입증했다. 또한 AI 개발에서 윤리적 고려 사항의 중요성을 강조하여 정책 논의와 산업 관행에 영향을 미쳤다.
2025년 현재, BigScience 모델과 데이터 세트는 지정된 라이선스 하에 연구 및 상업적 사용을 위해 계속 제공된다. 프로젝트의 문서와 코드는 대규모 모델 훈련을 연구하는 사람들에게 계속 자원으로 활용되고 있다. 향후 개방 협력체는 BigScience의 프레임워크를 기반으로 AI의 새로운 도전 과제를 해결할 수 있을 것이다.
같이 보기
참고 문헌
이 문서는 BigScience 프로젝트와 그 산출물에 대한 공개 정보를 기반으로 한다.