ALBERT(A Lite BERT)는 2019년 Google AI 연구진이 BERT의 메모리 효율적인 대안으로 도입한 트랜스포머 기반 언어 모델이다. 이 모델은 자연어 이해 작업에서 경쟁력 있는 성능을 유지하면서 매개변수 수와 훈련 시간을 줄이는 데 초점을 맞춘다. 그 이름은 두 가지 핵심 혁신, 즉 분해된 임베딩 매개변수화와 계층 간 매개변수 공유를 사용하는 "라이트" 아키텍처를 반영한다.
이 모델은 Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricuts를 포함한 팀에 의해 개발되었으며, 2019년 10월에 사전 인쇄본이 공개되었다. ALBERT는 일반적으로 엄청난 메모리와 계산 자원을 요구하여 많은 연구 및 배포 환경에서 비실용적으로 만드는 BERT의 한계를 해결하도록 설계되었다.
아키텍처 및 핵심 혁신
ALBERT의 주요 아키텍처 변경은 BERT의 1억 800만 매개변수 임베딩을 분해된 임베딩 행렬로 대체한 것이다. 어휘를 직접 은닉 크기로 투영하는 대신, ALBERT는 먼저 더 낮은 차원의 임베딩(예: 128 토큰)으로 투영한 다음 은닉 크기(예: 768)로 투영한다. 이 감소는 특히 큰 은닉 차원을 가진 모델에서 매개변수 수를 크게 줄인다.
두 번째 혁신은 계층 간 매개변수 공유로, 트랜스포머 인코더 가중치(어텐션 및 피드포워드 계층 포함)가 모든 계층에서 공유된다. 이는 동일한 매개변수 집합을 반복적으로 효과적으로 사용하여 메모리 사용량을 극적으로 줄인다. 예를 들어, 기본 모델은 BERT-base의 1억 800만 개와 비교하여 약 1200만 개의 매개변수를 가지며, 대형 변형은 BERT-large의 3억 4000만 개와 비교하여 단지 1800만 개만 가진다.
이러한 기술 덕분에 ALBERT는 메모리 한계를 초과하지 않고 더 깊고 넓은 아키텍처를 개발할 수 있다. 연구는 ALBERT가 여러 벤치마크에서 BERT와 일치하거나 능가하는 대형 구성(최대 1600만 매개변수)을 훈련할 수 있음을 입증했다.
훈련 및 벤치마크
ALBERT는 BERT와 동일한 영어 위키백과 및 BookCorpus에서 마스크 언어 모델링 및 문장 순서 예측(SOP)과 같은 자기 지도 학습 목표를 사용하여 훈련된다. BERT의 다음 문장 예측(NSP) 대신 SOP를 사용하는 것은 문장 간 일관성 작업에 도움이 된다.
GLUE 벤치마크(일반 언어 이해 평가)에서 약 2억 2300만 매개변수를 사용하지만 고유 매개변수는 약 800만 개에 불과한 ALBERT-xxlarge 구성은 BERT-large에 가깝거나 더 나은 점수를 달성했다. 구체적으로, MNLI, QQP, RTE(개발 세트에서 82.5%에서 85.0%로) 및 SQuAD 2.0 F1 점수(91.0에 도달)와 같은 작업에서 BERT-large를 능가했다. SQuAD 1.1/2.0에서 ALBERT-xxlarge는 각각 93.1 및 90.0 F1으로 당시 최첨단 결과를 달성했다. CoQAd 데이터 세트에서 ALBERT는 개발 세트에서 86.0을 기록하여 이전 BERT 모델보다 개선되었다.
효율성 및 속도
ALBERT의 매개변수 감소는 메모리 오버헤드를 줄이지만, 공유 매개변수가 여전히 동일한 계산 순방향 패스를 요구하기 때문에 훈련 시간을 직접적으로 항상 줄이지는 않는다. 그러나 분산 훈련에서의 통신 오버헤드 감소와 더 낮은 메모리 사용량 덕분에 더 큰 배치 크기가 가능하다. 저자들은 12계층 공유를 가진 ALBERT가 BERT-large보다 약 1.7배 빠르게 훈련할 수 있으며, 메모리 감소는 약 80%라고 보고한다.
성능 평가 및 발견
연구는 또한 NSP 제거의 효과를 조사했다. 놀랍게도, NSP를 제거하면 여러 작업에서 결과가 개선되어 NSP가 다운스트림 언어 이해에 효과적이지 않음을 확인했다. 다음 문장이 같은 문서에 있는지 다른 문서에 있는지를 예측하는 SOP 목표는 더 명확한 훈련 신호를 제공한다.
연구는 또한 계층 수와 은닉 유닛 수를 늘리는 것이 항상 개선과 상관관계가 있는 것은 아니라는 점을 지적했다. 2046 은닉 크기 모델은 4096 은닉 크기 모델과 동등한 성능을 보여 지역 최적점을 시사했다. 결과적으로 ALBERT는 자체 구조에서 너비보다 깊이를 선호한다.
유산 및 용도
ALBERT는 트랜스포머 압축 및 라이트 모델 설계 분야에서 기준이 되었다. 특히 디스크 또는 메모리 제약이 있는 상황에서 텍스트 분류, 질문 응답 및 문장 쌍 작업의 미세 조정에 유용한 도구이다. 오픈 소스 코드는 TensorFlow 공식 모델 저장소에서 제공되며, 다양한 크기의 사전 훈련된 가중치가 공개되었다. 이는 DistilBERT 및 MobileBERT와 같은 후속 효율적인 모델에 영향을 주었지만, 다른 전략을 사용한다. ALBERT는 특히 매개변수 공유로 유명하다.
디코더의 어텐션 기반 생성 모델(예: GPT)과 같은 새로운 아키텍처의 부상에도 불구하고, ALBERT는 인코더 전용 작업에서 여전히 관련성이 있는 접근 방식으로 남아 있으며 효율성 연구에서 벤치마크 역할을 한다. 그 작업은 자연어 처리 커뮤니티에서 광범위하게 인용되었으며, 특히 매개변수 공유 기술 및 메모리 중심 훈련의 참고 자료로 주목받는다.
재현성 및 접근성
구현 세부 사항은 특정 설정에 대해 제공되며, TensorFlow를 사용한 클라우드 인프라에서 훈련이 이루어진다. 모델의 코드와 사전 훈련된 체크포인트는 Apache 2.0 라이선스 하에 제공되어 연구 및 상업적 사용에 접근성을 보장한다. 대형 모델 구성(예: 128k 단계에 대해 배치 크기 2048)의 하이퍼파라미터 선택은 이전 작업을 따르지만, 저자는 소규모 실험에 맞게 조정할 것을 권장한다.
커뮤니티를 위해 ALBERT-base에서 ALBERT-xxlarge까지 여러 크기 변형의 가용성은 유연성을 제공한다. 이는 hello, Hugging Face Transformers와 같은 인기 있는 프레임워크에 통합될 수 있으며, 딥 러닝의 효율성 추세와 일치한다. 이 아키텍처는 또한 BERT 유사 모델의 더 큰 계열의 일부이며 Machine learning 및 Deep learning 생태계에 통합된다.
ALBERT의 기여는 특정 모델을 넘어, 이후 연구자들이 다른 맥락에서 채택한 계층 간 매개변수 공유 및 분해된 임베딩에 대한 규칙을 제공한다. 그 설계는 증류 및 가지치기와 같은 다른 기술과 함께 확장 가능한 트랜스포머 변형의 사례 연구로 과정(예: Stanford AI Lab 또는 다른 대학 환경)에서 가르쳐졌다.
미래 맥락
ALBERT는 생성 AI 이전 시대를 위해 설계되었지만, 매개변수 효율성의 원칙은 엄청난 자원 요구로 알려진 Large language model 시대에서 여전히 관련성이 있다. ALBERT가 달성한 감소 및 메모리 사용량은 매개변수 수와 품질 간의 절충에 대한 역사적 벤치마크를 제공한다. 모델의 짧은 역사(2019-2020)는 현대 응용 프로그램에서 사용되는 가중치 양자화 및 저랭크 근사와 같은 후속 압축 방법의 선례를 세웠다.
저자들은 사전 훈련된 커뮤니티의 결과에 비판적이었으며, 사전 훈련된 아티팩트의 가용성 덕분에 많은 사람들이 소형 또는 엣지 장치보다는 효율적인 중간 규모 설정에서 미세 조정 작업을 기반으로 할 수 있었다. 그러나 GPT 시리즈와 같은 더 큰 트랜스포머의 부상으로 ALBERT의 인기는 줄었지만, 특수 사용 사례 덕분에 완전히 사라지지는 않았다.
제품 코드 수정 및 모바일 지향 변형과 같은 향상된 버전은 제3자에 의해 개발되어 그 범위를 확장했다. 새로운 아키텍처가 종종 가려지지만, 매개변수 공유 및 표현 가능한 표현에 대한 ALBERT의 기여는 이 분야에서 여전히 핵심 교육 예제로 남아 있다.