BLOOM(BigScience Large Open-science Open-access Multilingual Language Model)은 2022년에 출시된 오픈 액세스 대규모 언어 모델이다. 이 모델은 독점적인 AI 모델에 대한 투명하게 구축된 대안을 제공하는 것을 목표로 한 자원봉사 기반 연구 노력인 BigScience 이니셔티브에 의해 개발되었다. 1760억 개의 매개변수를 가진 BLOOM은 46개의 자연어와 13개의 프로그래밍 언어로 텍스트를 생성하도록 설계된 트랜스포머 기반 자기회귀 모델이다. 이 모델은 프로젝트의 "책임 있는 AI 라이선스" 하에 배포된다.
개발
BLOOM은 Hugging Face가 조정하고 프랑스 정부가 자금을 지원한 1년간의 연구 워크숍인 BigScience 이니셔티브의 주요 결과물이다. 이 프로젝트에는 학계와 민간 부문의 수백 명의 자원봉사 연구원과 엔지니어가 참여했다. 모델은 2022년 3월부터 7월까지 프랑스의 Jean Zay 공공 슈퍼컴퓨터에서 훈련되었으며, 이 컴퓨터는 GENCI와 IDRIS(CNRS)가 관리한다. GPT-3와 같은 초기 모델과 달리 BLOOM은 영어, 프랑스어, 스페인어, 중국어, 아랍어, 힌디어 등을 포함한 다양한 언어 계열을 포괄하도록 명시적으로 다국어로 훈련되었다.
BLOOM의 소스 코드는 Apache 2.0 라이선스로 공개된 반면, 모델의 매개변수는 BigScience 책임 있는 AI 라이선스(RAIL)로 공개된다. 이 라이선스는 개방형 액세스와 재사용 권리를 부여하지만 유해한 응용 프로그램에서의 사용 금지와 같은 사용 제한을 포함한다. BLOOM의 개방적 성격은 OpenAI나 Google DeepMind와 같은 기업의 독점 모델과 대조되며, AI에서 투명성을 추구하는 연구자와 개발자에게 중요한 자원이 된다.
훈련 데이터 및 아키텍처
BLOOM의 훈련 코퍼스인 ROOTS는 당시 최신 버전의 웹 기반 OSCAR 코퍼스(ROOTS의 38%)에서 추출한 데이터와 수동으로 선택되고 문서화된 언어 데이터 소스 목록에서 새로 수집한 데이터를 결합한다. 총 모델은 약 3660억 개의 토큰(1.6TB의 텍스트)으로 훈련되었다. 아키텍처는 트랜스포머 모델, 특히 GPT-3와 유사하지만 다국어 성능을 향상시키는 자기회귀 디코더 전용 설계를 기반으로 한다. 훈련에는 수천 개의 GPU에 걸친 효율적인 분산 훈련을 가능하게 하는 오픈 소스 라이브러리인 DeepSpeed와 Megatron이 사용되었다.
BLOOM이 46개의 자연어와 13개의 프로그래밍 언어를 처리할 수 있는 능력은 번역, 요약, 코드 생성과 같은 작업에 다재다능하게 만든다. 다국어 훈련은 많은 영어 중심 모델과의 주요 차별점으로, 다양한 글로벌 커뮤니티에 서비스를 제공할 수 있게 한다.
변형 및 응용
BLOOM 출시 이후 BigScience는 지도 학습을 위한 다국어 데이터셋인 xP3와 xP3로 미세 조정되어 지시를 따르는 BLOOM의 변형인 BLOOMZ를 도입했다. BLOOMZ는 자연어 프롬프트를 기반으로 작업을 수행하는 모델의 능력을 향상시켜 대화형 AI 및 기타 응용 프로그램에서의 유용성을 높인다.
BLOOM은 BLOOMChat 및 HuggingChat과 같은 챗봇에 사용되어 다국어 기능을 활용하여 여러 언어로 응답을 제공한다. 또한 개방형 액세스 특성 덕분에 머신러닝 및 인공지능 분야의 학술 연구와 실험에서 인기 있는 선택이 되었다.
영향 및 의의
BLOOM은 라이선스 하에 연구 및 상업적 사용을 위해 자유롭게 사용할 수 있는 고용량 모델을 제공함으로써 AI의 민주화에 중요한 이정표를 나타낸다. 완전히 오픈 소스화된 최초의 대규모 다국어 모델 중 하나로, 향후 이니셔티브에 선례를 설정했다. 데이터 수집부터 훈련 절차까지의 투명성에 대한 프로젝트의 강조는 AI 커뮤니티에 귀중한 사례 연구를 제공한다.
OpenAI나 Anthropic과 같은 기업의 독점 모델과 비교할 때 BLOOM의 개방형 가중치는 연구자들이 제한 없이 모델을 검사하고 미세 조정할 수 있게 하여 저자원 언어 처리 및 AI 안전과 같은 분야에서 혁신을 촉진한다. 모델 개발은 또한 기업 주도 노력과 대조되는 협력적이고 자원봉사 기반 연구의 잠재력을 강조했다.
외부 링크
- HuggingFace의 BigScience 프로젝트(huggingface.co/bigscience에서 확인 가능)
참고 문헌
- HuggingFace의 BigScience 프로젝트
- Wikipedia 기여자. "BLOOM (language model)." Wikipedia, The Free Encyclopedia.