BART(Bidirectional and Auto-Regressive Transformer)는 자연어 처리에서 시퀀스-투-시퀀스 모델의 사전 학습을 위해 설계된 잡음 제거 오토인코더이다. 2019년 Facebook AI의 연구자들이 도입한 BART는 임의의 잡음 함수로 텍스트를 손상시키고 원본 텍스트를 재구성하는 모델을 학습한다. BERT 및 GPT와 같은 모델에 사용된 여러 사전 학습 목표를 이해 및 생성 작업 모두에서 뛰어난 성능을 발휘하는 단일 프레임워크로 통합한 점에서 주목할 만하다.
BART의 아키텍처는 표준 시퀀스-투-시퀀스 트랜스포머로, BERT와 유사한 양방향 인코더와 GPT와 유사한 자기회귀 디코더를 갖추고 있다. 이 설계는 인코더가 좌우 양쪽의 맥락을 포착하는 동시에 디코더가 토큰 단위로 출력을 생성할 수 있게 한다. 사전 학습 목표는 입력 텍스트를 손상시키고 디코더의 출력과 손상되지 않은 원본 텍스트 사이의 교차 엔트로피 손실을 최소화하도록 모델을 학습시키는 것이다. 토큰 마스킹, 토큰 삭제, 텍스트 채움, 문장 순열, 문서 회전과 같은 다양한 잡음 전략을 처리하는 BART의 유연성은 강력한 범용 모델로 만든다.
개발 및 출시
BART는 현재 Meta AI의 일부인 Facebook AI 팀이 개발했으며, 2020년 전산언어학회 연례 회의(ACL)에서 발표된 논문 "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension"에서 소개되었다. 이 모델은 오픈소스 소프트웨어로 출시되었으며, Fairseq 라이브러리에서 구현을 제공한다. 초기 출시에는 영어 사전 학습 모델이 base 및 large 변형으로 포함되었고, 이후 mBART와 같은 다국어 버전으로 확장되었다.
BART의 개발은 기존 사전 학습 방법이 종종 이해 작업(BERT와 같은) 또는 생성 작업(GPT와 같은)에 특화되어 있다는 관찰에서 비롯되었다. BART는 시퀀스-투-시퀀스 아키텍처를 사용하여 두 가지의 강점을 결합하고, 광범위한 응용 분야에 미세 조정될 수 있도록 하는 것을 목표로 했다. 사전 학습 중 사용된 잡음 함수는 실제 텍스트에서 발생하는 다양한 유형의 손상을 모방하도록 설계되어 모델이 잡음이 있는 입력에 견고하도록 만들었다.
응용 및 성능
BART는 출시 당시 여러 벤치마크에서 최첨단 결과를 달성했다. 특히 추상적 대화, 질문 응답, 요약 작업에서 뛰어난 성능을 보였다. 예를 들어, CNN/DailyMail 요약 데이터셋에서 BART-large는 ROUGE-1 점수 47.6을 달성하여 이전 모델을 능가했다. SQuAD 질문 응답 데이터셋에서는 F1 점수 94.6을 달성하여 특화 모델의 성능과 일치하거나 초과했다. BART는 또한 대화 시스템의 응답 생성과 같은 자연어 생성 작업에서 강력한 성능을 보여주었다.
BART의 주요 장점 중 하나는 최소한의 작업별 수정으로 이해 및 생성 작업 모두에 미세 조정될 수 있다는 점이다. 분류 작업의 경우 디코더의 동일한 표현이 사용되는 반면, 생성 작업의 경우 디코더가 출력 시퀀스를 생성하는 데 사용된다. 이러한 다용성 덕분에 BART는 Artificial intelligence 및 Machine learning 분야의 실무자들에게 인기 있는 선택이 되었다.
영향 및 유산
BART는 자연어 처리 사전 학습에 대한 후속 연구에 상당한 영향을 미쳤다. 그 잡음 제거 오토인코더 접근 방식은 텍스트-투-텍스트 프레임워크를 사용하는 T5와 같은 후속 모델과 다양한 기타 잡음 제거 기반 사전 학습 방법에 영감을 주었다. 입력 텍스트를 손상시키고 재구성하는 개념은 Large language model 개발의 표준 기술이 되었다. BART의 아키텍처와 훈련 방법론은 생물의학 텍스트 요약 및 법률 문서 처리와 같은 많은 도메인별 응용 분야에서도 사용된다.
이 모델의 성공은 Deep learning 및 Neural network 연구에서 트랜스포머 기반 모델을 사용하는 더 넓은 추세에 기여했다. 시퀀스-투-시퀀스 아키텍처가 대규모 말뭉치에서 효과적으로 사전 학습된 다음 다양한 작업에 적응될 수 있음을 입증하여, 해당 분야에서 더 통합된 모델의 길을 열었다. BART의 오픈소스 출시는 학계 및 산업계 모두에서 채택을 촉진했으며, 많은 기업이 자연어 처리 파이프라인에 이를 통합했다.
기술적 세부 사항
BART는 양방향 인코더와 자기회귀 디코더를 갖춘 표준 트랜스포머 아키텍처를 사용한다. base 모델은 인코더와 디코더 모두에 6개의 레이어, 은닉 크기 768, 12개의 어텐션 헤드를 가지며 총 약 1억 4천만 개의 매개변수를 포함한다. large 모델은 12개의 레이어, 은닉 크기 1024, 16개의 어텐션 헤드를 가지며 총 약 4억 개의 매개변수를 포함한다. 사전 학습 데이터는 BERT에 사용된 데이터와 유사하게 영어 위키백과와 도서의 텍스트로 구성되었다.
BART에 사용된 잡음 함수에는 무작위 토큰을 마스크 토큰으로 대체하는 토큰 마스킹, 무작위 토큰을 제거하는 토큰 삭제, 텍스트 범위를 단일 마스크 토큰으로 대체하는 텍스트 채움, 문장을 섞는 문장 순열, 문서를 무작위 토큰에서 시작하도록 회전시키는 문서 회전이 포함된다. 모델은 손상된 버전에서 원본 텍스트를 재구성하도록 훈련되며, 이는 텍스트의 로컬 및 전역 의존성을 모두 학습하도록 강제한다.