BART（Bidirectional and Auto-Regressive Transformer）は、自然言語処理における系列変換モデルの事前学習のために設計されたノイズ除去オートエンコーダである。2019年にFacebook AIの研究者らによって発表され、BARTは任意のノイズ付加関数でテキストを破損させ、元のテキストを再構築するモデルを学習する。BERTやGPTなどのモデルで使用されるものを含む複数の事前学習目的を単一のフレームワークに統合し、理解タスクと生成タスクの両方に優れる点で注目されている。
BARTのアーキテクチャは標準的な系列変換トランスフォーマーであり、BERTに類似した双方向エンコーダとGPTに類似した自己回帰デコーダを備えている。この設計により、エンコーダは左右両方から文脈を捉え、デコーダはトークンごとに出力を生成する。事前学習の目的は、入力テキストを破損させ、デコーダの出力と元の非破損テキストとの間の交差エントロピー損失を最小化するようにモデルを訓練することである。トークンマスキング、トークン削除、テキスト補間、文の並べ替え、文書の回転などの様々なノイズ付加戦略を扱うBARTの柔軟性は、強力な汎用モデルとなっている。
開発とリリース
BARTはFacebook AI（現在はMeta AIの一部）のチームによって開発され、2020年の計算言語学会年次大会（ACL）で発表された論文「BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension」で紹介された。このモデルはオープンソースソフトウェアとして公開され、Fairseqライブラリに実装が提供された。初期リリースには英語用の事前学習モデルが含まれ、baseとlargeの2つのバリエーションがあり、後にmBARTなどの多言語版に拡張された。
BARTの開発は、既存の事前学習手法が理解タスク（BERTなど）または生成タスク（GPTなど）のいずれかに特化していることが多いという観察に動機づけられた。BARTは、幅広いアプリケーションにファインチューニングできる系列変換アーキテクチャを使用することで、両方の強みを組み合わせることを目指した。事前学習中に使用されるノイズ付加関数は、実世界のテキストで発生する様々な種類の破損を模倣するように設計されており、ノイズの多い入力に対してモデルを堅牢にしている。
アプリケーションと性能
BARTはリリース時点でいくつかのベンチマークにおいて最先端の結果を達成した。特に、抽象的な対話、質問応答、要約タスクで優れた性能を発揮した。例えば、CNN/DailyMail要約データセットでは、BART-largeはROUGE-1スコア47.6を達成し、従来のモデルを上回った。SQuAD質問応答データセットでは、F1スコア94.6を達成し、専門モデルの性能に匹敵またはそれを上回った。BARTはまた、対話システムにおける応答生成などの自然言語生成タスクでも強い性能を示した。
BARTの主な利点の1つは、タスク固有の修正を最小限に抑えて、理解タスクと生成タスクの両方にファインチューニングできることである。分類タスクではデコーダからの同じ表現が使用され、生成タスクではデコーダが出力系列を生成するために使用される。この汎用性により、BARTは人工知能と機械学習の分野の実務者の間で人気のある選択肢となった。
影響と遺産
BARTは、自然言語処理における事前学習のその後の研究に大きな影響を与えた。そのノイズ除去オートエンコーダのアプローチは、テキスト間フレームワークを使用するT5や、その他の様々なノイズ除去ベースの事前学習手法など、後のモデルに影響を与えた。入力テキストを破損させて再構築するという概念は、大規模言語モデルの開発における標準的な技術となっている。BARTのアーキテクチャと訓練方法は、生物医学テキスト要約や法務文書処理など、多くのドメイン固有のアプリケーションでも使用されている。
このモデルの成功は、深層学習とニューラルネットワーク研究におけるトランスフォーマーベースのモデルを使用する広範な傾向に貢献した。系列変換アーキテクチャが大規模コーパスで効果的に事前学習され、その後様々なタスクに適応できることを実証し、この分野におけるより統合されたモデルへの道を開いた。BARTのオープンソースリリースは、学術界と産業界の両方での採用を促進し、多くの企業が自然言語処理パイプラインに統合した。
技術的詳細
BARTは、双方向エンコーダと自己回帰デコーダを備えた標準的なトランスフォーマーアーキテクチャを使用している。baseモデルはエンコーダとデコーダの両方に6層、隠れサイズ768、12のアテンションヘッドを持ち、合計約1億4000万パラメータである。largeモデルは12層、隠れサイズ1024、16のアテンションヘッドを持ち、合計約4億パラメータである。事前学習データは、BERTに使用されたデータと同様に、英語のWikipediaと書籍からのテキストで構成されていた。
BARTで使用されるノイズ付加関数には、ランダムなトークンをマスクトークンに置き換えるトークンマスキング、ランダムなトークンを削除するトークン削除、テキストのスパンを単一のマスクトークンに置き換えるテキスト補間、文をシャッフルする文の並べ替え、文書をランダムなトークンから開始するように回転させる文書の回転が含まれる。モデルは破損したバージョンから元のテキストを再構築するように訓練され、これによりテキスト内の局所的および大域的な依存関係の両方を学習することを強制される。