BLOOM（BigScience Large Open-science Open-access Multilingual Language Model）は、2022年に公開されたオープンアクセスの大規模言語モデルである。これは、ボランティア主導の研究努力であるBigScienceイニシアチブによって開発され、プロプライエタリなAIモデルに代わる透明性の高い選択肢を提供することを目的とした。176億のパラメータを持つBLOOMは、トランスフォーマーに基づく自己回帰モデルであり、46の自然言語と13のプログラミング言語でテキストを生成するように設計されている。このモデルは、プロジェクトの「責任あるAIライセンス」の下で配布されている。
開発
BLOOMは、BigScienceイニシアチブの主要な成果であり、Hugging Faceが調整し、フランス政府からの資金提供を受けた1年間の研究ワークショップである。このプロジェクトには、学界や民間部門から数百人のボランティア研究者とエンジニアが参加した。モデルは2022年3月から7月にかけて、フランスのJean Zay公共スーパーコンピュータ（GENCIとIDRIS（CNRS）が管理）で訓練された。GPT-3などの初期のモデルとは異なり、BLOOMは明示的に多言語対応となるよう訓練され、英語、フランス語、スペイン語、中国語、アラビア語、ヒンディー語など、多様な言語族をカバーしている。
BLOOMのソースコードはApache 2.0ライセンスの下で公開されている一方、モデルのパラメータはBigScience責任あるAIライセンス（RAIL）の下で公開されている。このライセンスはオープンアクセスと再利用の権利を付与するが、有害なアプリケーションでの使用禁止などの利用制限を含む。BLOOMのオープンな性質は、OpenAIやGoogle DeepMindなどの企業によるプロプライエタリなモデルとは対照的であり、AIにおける透明性を求める研究者や開発者にとって重要なリソースとなっている。
トレーニングデータとアーキテクチャ
BLOOMのトレーニングコーパスであるROOTSは、当時の最新版であるウェブベースのOSCARコーパス（ROOTSの38%）から抽出されたデータと、手動で選択・文書化された言語データソースのリストから新たに収集されたデータを組み合わせたものである。全体として、モデルは約366億トークン（1.6 TBのテキスト）で訓練された。アーキテクチャはトランスフォーマーモデルに基づいており、具体的にはGPT-3に類似した自己回帰型のデコーダーのみの設計であるが、多言語性能を高めるための拡張が施されている。トレーニングには、オープンソースライブラリであるDeepSpeedとMegatronが使用され、数千のGPUにわたる効率的な分散トレーニングを可能にしている。
BLOOMが46の自然言語と13のプログラミング言語を扱えることは、翻訳、要約、コード生成などのタスクにおいて多用途であることを意味する。その多言語トレーニングは、多くの英語中心のモデルとは異なる重要な差別化要因であり、多様なグローバルコミュニティにサービスを提供することを可能にしている。
バリアントと応用
BLOOMのリリース後、BigScienceは教師あり学習用の多言語データセットであるxP3と、xP3でファインチューニングされて指示に従うようにしたBLOOMZを導入した。BLOOMZは、自然言語プロンプトに基づいてタスクを実行するモデルの能力を向上させ、対話型AIやその他のアプリケーションでの有用性を高めている。
BLOOMは、BLOOMChatやHuggingChatなどのチャットボットで使用されており、その多言語機能を活用して複数の言語で応答を提供している。そのオープンアクセスな性質により、機械学習や人工知能分野における学術研究や実験のための人気のある選択肢となっている。
影響と重要性
BLOOMは、AIの民主化におけるマイルストーンを表しており、そのライセンスの下で研究および商業利用が自由にできる高容量モデルを提供している。これは、完全にオープンソース化された最初の大規模多言語モデルの1つであり、将来のイニシアチブの先例となった。データ収集からトレーニング手順に至るまでの透明性へのプロジェクトの重点は、AIコミュニティにとって貴重なケーススタディを提供している。
OpenAIやAnthropicなどのプロプライエタリなモデルと比較して、BLOOMのオープンウェイトにより、研究者は制限なくモデルを検査およびファインチューニングでき、低リソース言語処理やAI安全性などの分野での革新を促進している。モデルの開発はまた、企業主導の取り組みとは対照的に、協力的でボランティア主導の研究の可能性を浮き彫りにした。
外部リンク
- HuggingFace上のBigScienceプロジェクト（huggingface.co/bigscienceで利用可能）
参考文献
- HuggingFace上のBigScienceプロジェクト
- Wikipedia contributors. "BLOOM (language model)." Wikipedia, The Free Encyclopedia.