SpanBERT는 2020년 Carnegie Mellon University와 Stanford AI Lab의 연구자들이 도입한 Transformer (architecture) 기반 Neural network 아키텍처의 변형이다. 원래 BERT 모델을 확장하여 개별 마스킹된 토큰이 아닌 연속된 토큰의 전체 스팬을 예측하는 데 초점을 맞춘다. 핵심 혁신은 스팬 마스킹과 스팬 경계 예측(SBP)이라는 두 가지 훈련 목표에 있다. 스팬 마스킹은 무작위 연속 토큰 시퀀스를 단일 [MASK] 토큰으로 대체하여 모델이 주변 맥락에서 전체 스팬을 추론하도록 강제한다. 그런 다음 SBP는 마스킹된 스팬의 시작과 끝에 있는 토큰의 표현을 사용하여 내부 토큰을 예측하며 경계 정보를 활용한다. 이러한 설계는 SpanBERT를 질문 응답 및 상호참조 해결과 같은 다중 토큰 개체 및 관계 이해가 필요한 작업에 특히 효과적으로 만든다.
아키텍처 및 훈련
SpanBERT는 BERT의 표준 Transformer (architecture) 인코더 아키텍처를 유지하며 다층 양방향 인코더를 갖춘다. 주요 차이점은 사전 훈련 데이터 마스킹 전략에 있다. 개별 토큰의 15%를 무작위로 마스킹하는 대신 SpanBERT는 기하 분포(평균 3.8 토큰)에서 스팬 길이를 샘플링하고 해당 연속 블록 전체를 마스킹한다. 스팬 길이는 10토큰으로 제한된다. 이 접근 방식은 모델이 더 긴 시퀀스 내의 의존성을 포착하도록 장려한다. 모델은 BERT와 동일한 영어 Wikipedia 및 BooksCorpus 데이터 세트에서 훈련되며 마스킹된 스팬에 대해 동일한 마스킹 언어 모델링 목표를 사용하지만 SBP 손실이 추가된다. SBP 목표는 스팬의 첫 번째와 마지막 토큰(마스킹 후)의 은닉 상태를 사용하여 내부 토큰을 예측하며 경계 정보를 사용하여 내용을 재구성하도록 모델을 효과적으로 가르친다.
스팬 경계 예측
스팬 경계 예측은 SpanBERT에서 도입된 새로운 보조 작업이다. 각 마스킹된 스팬에 대해 모델은 스팬 바로 앞의 토큰과 스팬 바로 뒤의 토큰의 출력 표현을 가져온다. 이 두 벡터는 연결되어 선형 계층을 통과하여 각 내부 마스킹 토큰을 예측한다. 이는 모델이 내부의 의미적 내용을 포착하는 방식으로 스팬의 경계를 인코딩하도록 강제한다. 각 토큰을 독립적으로 처리하는 BERT의 마스킹 언어 모델링과 달리 SBP는 모델이 스팬을 단위로 추론하도록 장려한다. 이는 답변이 종종 연속된 텍스트 스팬인 질문 응답과 언급이 일반적으로 다중 토큰 구문인 상호참조 해결과 같은 작업에 특히 유익하다.
성능 및 영향
SpanBERT는 출시 당시 여러 벤치마크에서 최첨단 결과를 달성했다. SQuAD 1.1 및 SQuAD 2.0 질문 응답 데이터 세트에서 BERT 및 RoBERTa와 같은 동시대 모델을 능가했다. 또한 OntoNotes 상호참조 해결 작업과 TACRED 관계 추출 데이터 세트에서 새로운 기록을 세웠다. 개선 사항은 스팬 수준 추론이 필요한 작업에서 가장 두드러졌으며 스팬 중심 사전 훈련의 효과를 확인했다. SpanBERT의 접근 방식은 스팬 기반 표현 학습의 후속 연구에 영향을 미쳤다. 연속 스팬을 마스킹하고 경계 예측을 사용하는 것이 특정 하위 작업에서 토큰 수준 마스킹보다 더 효과적일 수 있음을 입증했다. 모델의 코드와 사전 훈련된 가중치는 공개적으로 출시되어 연구 커뮤니티에서 채택을 촉진했다.
BERT 및 RoBERTa와의 비교
SpanBERT는 주로 마스킹 전략과 SBP 추가에서 BERT와 다르다. BERT는 개별 토큰을 무작위로 마스킹하는 반면 SpanBERT는 스팬을 마스킹한다. 또 다른 인기 있는 변형인 RoBERTa는 동적 마스킹을 사용하고 다음 문장 예측 목표를 제거하지만 여전히 개별 토큰을 마스킹한다. SpanBERT의 스팬 마스킹은 장거리 의존성을 포착하기 위한 더 강력한 훈련 신호를 제공한다. 직접 비교에서 SpanBERT는 스팬 관련 작업에서 BERT를 일관되게 능가했으며 유사한 훈련 데이터 크기를 사용함에도 불구하고 질문 응답 및 상호참조에서 RoBERTa와 자주 일치하거나 초과했다. 핵심 요점은 마스킹 세분성의 선택이 Natural language processing의 표현 학습에 상당히 중요하다는 것이다.
응용 및 유산
SpanBERT의 아키텍처는 질문 응답 및 상호참조를 넘어 다양한 Machine learning 작업에 적용되었다. 개체 언급과 관계 식별이 종종 스팬 수준 예측을 요구하는 정보 추출에 사용되었다. 또한 약물-약물 상호작용 또는 유전자-질병 연관성 추출과 같은 생의학 텍스트 마이닝에도 적용되었다. 스팬 마스킹과 경계 예측의 원리는 일부 Large language model 사전 훈련 파이프라인을 포함한 다른 모델에 통합되었다. SpanBERT 자체는 Generative AI 시스템과 같은 더 큰 모델만큼 널리 사용되지는 않지만 transformer 기반 인코더의 진화에서 중요한 이정표로 남아 있다. 스팬 수준 이해에 대한 초점은 구조적 예측 작업을 개선하는 것을 목표로 하는 더 최근 모델의 설계에 정보를 제공했다. 2020년대 중반 현재 SpanBERT는 스팬 관련 벤치마크의 강력한 기준선으로 연구 문헌에서 여전히 인용되고 있다.
한계
SpanBERT에는 몇 가지 한계가 있다. 스팬 마스킹 전략은 스팬 길이 분포의 세심한 조정을 요구하며 SBP 목표는 계산 오버헤드를 추가한다. 모델은 또한 일반적으로 512토큰인 transformer의 고정 컨텍스트 창에 의해 제한되어 매우 긴 문서를 처리하는 능력을 제한할 수 있다. 또한 SpanBERT는 인코더 전용 모델이므로 텍스트 생성을 위해 설계되지 않았다. 생성 작업에서의 성능은 디코더 기반 모델과 비교할 수 없다. 이러한 제약에도 불구하고 SpanBERT의 스팬 표현 학습에 대한 기여는 지속적이며 사전 훈련 목표의 절충을 이해하기 위한 귀중한 참고점 역할을 한다.