BERT(양방향 인코더 표현)는 2018년 10월 Google이 공개한 언어 표현 모델이다. 이는 언어 이해에 Transformer (architecture) 아키텍처를 적용한 최초의 광범위한 영향력을 지닌 사례 중 하나였으며, 그 공개는 트랜스포머 기반 Pretraining이 Natural language processing의 지배적인 패러다임이 되게 한 전환점으로 자주 언급된다.
아키텍처 및 훈련
BERT는 GPT 시리즈에서 나중에 사용된 디코더 기반의 자기회귀 설계와 대조적으로, 트랜스포머 아키텍처의 인코더 절반만 사용한다. 이는 두 가지 자기 지도 목표로 훈련된다: 문장의 무작위 단어를 숨기고 모델이 양방향 문맥을 사용하여 이를 예측해야 하는 마스크 언어 모델링과, 모델이 한 문장이 다른 문장 뒤에 자연스럽게 이어지는지 학습하는 다음 문장 예측이다. 이러한 양방향 훈련은 BERT가 앞뒤 문맥을 동시에 반영한 표현을 구축할 수 있게 했으며, 이는 word2vec 및 ELMo와 같은 초기 단방향 또는 얕은 양방향 접근 방식보다 유리한 점이었다.
BERT는 여러 크기로 공개되었으며, 가장 주목할 만한 것은 BERT-base(1억 1천만 매개변수)와 BERT-large(3억 4천만 매개변수)로, 이후 표준에 비해 적은 규모였지만 당시에는 큰 규모였다. Google은 사전 훈련된 가중치를 공개적으로 게시하여 연구자들이 질문 응답, 감정 분석, 개체명 인식과 같은 특정 하위 작업에 대해 비교적 적은 양의 작업별 데이터로 모델을 미세 조정할 수 있게 했다.
영향
공개 당시 BERT는 GLUE 스위트 및 SQuAD 질문 응답 데이터 세트를 포함한 광범위한 NLP 벤치마크에서 기존 방법보다 상당한 차이로 최첨단 결과를 달성했다. "사전 훈련 후 미세 조정" 패러다임은 해당 분야 전반에 빠르게 채택되었으며, 이후 인코더 및 인코더-디코더 모델 설계에 직접적인 영향을 미쳤다. Google은 2019년부터 BERT를 핵심 검색 순위 시스템에 통합했으며, 특히 더 길고 대화형 질의의 의도를 이해하는 데 있어 수년 만에 검색 관련성에 가장 중요한 개선 중 하나로 설명했다.
생성 모델과의 관계에서의 유산
BERT는 GPT-2, GPT-3 및 그 후속 모델로 정의된 대규모 언어 모델 시대보다 앞서 있으며, 인코더 전용의 비생성적 설계로 인해 자기회귀 모델처럼 개방형 텍스트를 생성할 수 없다. 그럼에도 불구하고 BERT와 그 많은 파생 모델(RoBERTa, ALBERT, DistilBERT 포함)은 생성이 불필요하고 효율성이 중요한 분류, 검색 및 임베딩 작업에서 2020년대까지 널리 사용되었으며, BERT 스타일 인코더는 더 큰 검색 및 의미 검색 시스템 내의 구성 요소로 계속 사용되었고, 일부 검색 증강 생성 파이프라인의 빌딩 블록으로도 활용되었다. 크리스토퍼 매닝과 같은 학계 NLP 연구자들은 BERT의 공개가 레이블이 없는 텍스트에 대한 대규모 자기 지도 사전 훈련이 주로 레이블이 지정된 데이터 세트에 의존하는 방법보다 우수할 수 있음을 입증한 중추적 순간이라고 지적했으며, 이 교훈은 이후 생성 언어 모델의 확장 철학에 직접 이어졌다.