ELMo(embeddings from language model)는 단어 시퀀스를 해당하는 벡터 시퀀스로 표현하는 단어 임베딩 방법이다. 이는 Allen Institute for Artificial Intelligence와 University of Washington의 연구자들이 개발했으며, 2018년 2월에 처음 공개되었다. ELMo는 문자 수준 입력을 받아 단어 수준 임베딩을 생성하는 양방향 LSTM으로, 약 3천만 개의 문장과 10억 개의 단어로 구성된 말뭉치로 훈련되었다.
ELMo의 아키텍처는 토큰에 대한 맥락적 이해를 달성한다. 심층 맥락화 단어 표현은 상호참조 해결 및 다의어 해결과 같은 많은 자연어 처리 작업에 유용하다. ELMo는 자기 지도 생성 사전 훈련과 미세 조정을 따르는 패러다임의 선구자로서 역사적으로 중요했으며, 여기서 대규모 모델이 대규모 말뭉치를 재현하도록 훈련된 후 추가적인 작업별 가중치를 부여하고 지도 작업 데이터로 미세 조정되었다. 이는 트랜스포머 기반 언어 모델링으로의 진화에 중요한 단계였다.
아키텍처
ELMo는 토큰 임베딩 레이어 위에 다층 양방향 LSTM을 쌓은 구조이다. 모든 LSTM의 출력을 연결한 것이 토큰 임베딩을 구성한다. 입력 텍스트 시퀀스는 먼저 임베딩 레이어에 의해 벡터 시퀀스로 매핑된다. 그런 다음 두 부분이 병렬로 실행된다. 순방향 부분은 4096개의 유닛과 512차원 투영을 가진 2층 LSTM으로, 첫 번째 레이어에서 두 번째 레이어로의 잔차 연결을 포함한다. 역방향 부분은 동일한 아키텍처를 가지지만 시퀀스를 뒤에서 앞으로 처리한다. 모든 5개 구성 요소(임베딩 레이어, 두 개의 순방향 LSTM 레이어, 두 개의 역방향 LSTM 레이어)의 출력은 연결되고 선형 행렬(투영 행렬)과 곱해져 입력 토큰당 512차원 표현을 생성한다.
ELMo는 10억 개의 단어로 구성된 텍스트 말뭉치로 사전 훈련되었다. 순방향 부분은 다음 토큰을 반복적으로 예측하도록 훈련되고, 역방향 부분은 이전 토큰을 반복적으로 예측하도록 훈련된다. 사전 훈련 후 ELMo 매개변수는 투영 행렬을 제외하고 고정되며, 투영 행렬은 특정 언어 작업의 손실을 최소화하도록 미세 조정될 수 있다. 이는 사전 훈련-미세 조정 패러다임의 초기 사례이다. 원래 논문은 여섯 개의 벤치마크 NLP 작업에서 최첨단 성능을 개선함으로써 이를 입증했다.
맥락적 단어 표현
ELMo의 아키텍처는 토큰에 대한 맥락적 이해를 달성한다. 예를 들어, 첫 번째 순방향 LSTM은 각 입력 토큰을 이전 모든 토큰의 맥락에서 처리하고, 첫 번째 역방향 LSTM은 각 토큰을 이후 모든 토큰의 맥락에서 처리한다. 그런 다음 두 번째 순방향 LSTM은 이를 통합하여 각 토큰을 더욱 맥락화한다.
심층 맥락화 단어 표현은 상호참조 해결 및 다의어 해결과 같은 많은 자연어 처리 작업에 유용하다. 예를 들어, "그녀는 돈을 인출하기 위해 은행에 갔다"라는 문장을 고려하자. 토큰 "은행"을 표현하려면 모델이 맥락에서 다의어를 해결해야 한다. 첫 번째 순방향 LSTM은 "그녀는 ...에 갔다"라는 맥락에서 "은행"을 처리하여 이를 주어가 향하는 장소로 표현할 수 있게 한다. 첫 번째 역방향 LSTM은 "돈을 인출하기 위해"라는 맥락에서 "은행"을 처리하여 이를 금융 기관을 지칭하는 것으로 명확히 구분할 수 있게 한다. 그런 다음 두 번째 순방향 LSTM은 첫 번째 역방향 LSTM이 제공한 표현 벡터를 사용하여 "은행"을 처리함으로써 주어가 향하는 금융 기관으로 표현할 수 있다.
역사적 맥락
ELMo는 언어 모델링의 역사적 진화에서 하나의 연결 고리이다. 문서 분류의 간단한 문제를 고려하자. 여기서 주어진 텍스트에 레이블(예: "스팸", "스팸 아님", "정치", "스포츠")을 할당하려고 한다. 가장 간단한 접근 방식은 "단어 가방" 방식으로, 문서의 각 단어를 독립적으로 처리하고 그 빈도를 분류의 특징으로 사용한다. 이는 계산 비용이 저렴했지만 단어의 순서와 문장 내 맥락을 무시했다. GloVe와 Word2Vec은 대규모 텍스트 말뭉치에서 단어의 동시 발생 패턴을 기반으로 단어에 대한 고정 벡터 표현(임베딩)을 학습함으로써 이를 개선했다.
BERT와 마찬가지로(Word2Vec 및 GloVe와 같은 "단어 가방" 방법과 달리) ELMo 단어 임베딩은 맥락에 민감하여 동일한 철자를 공유하는 단어에 대해 서로 다른 표현을 생성한다. 이는 약 3천만 개의 문장과 10억 개의 단어로 구성된 말뭉치로 훈련되었다. 이전에도 양방향 LSTM이 맥락화 단어 표현에 사용되었지만, ELMo는 이 아이디어를 대규모로 적용하여 최첨단 성능을 달성했다.
2017년 트랜스포머 아키텍처의 발표 이후, ELMo의 아키텍처는 다층 양방향 LSTM에서 트랜스포머 인코더로 변경되어 BERT가 탄생했다. BERT는 유사한 사전 훈련-미세 조정 워크플로우를 가지지만 더 병렬화 가능한 훈련을 가능하게 하는 트랜스포머를 사용한다. ELMo의 영향은 다른 대규모 언어 모델 개발에도 확장되었으며, 대규모 말뭉치 사전 훈련과 작업별 미세 조정의 힘을 입증했는데, 이는 이후 오픈AI 및 구글 딥마인드의 모델과 같은 후속 모델의 중심 패러다임이 되었다.
영향과 유산
ELMo의 2018년 2월 공개는 자연어 처리의 전환점을 표시했다. 맥락화 임베딩을 제공함으로써 질문 응답, 감정 분석, 개체명 인식과 같은 작업의 성능을 개선했다. 그 성공은 언어에 대한 딥러닝 접근 방식의 추가 연구를 촉진하여 인공지능 응용 분야의 급속한 발전으로 이어졌다. ELMo는 텍스트를 위한 머신러닝의 현대 시대에서 BERT와 함께 기초 모델로 자주 언급된다.
이 방법은 또한 장거리 의존성을 포착하는 신경망 아키텍처의 중요성을 강조했으며, 이 개념은 이후 트랜스포머 기반 모델에서 더욱 정교화되었다. ELMo의 문자 수준 입력 처리는 어휘 외 단어에 대한 견고성을 제공했으며, 이는 이후 임베딩 기술에 영향을 미친 특징이다. ELMo 자체는 더 이상 생산 환경에서 널리 사용되지 않지만, 그 원칙은 많은 현대 NLP 시스템에 여전히 내재되어 있다.
참고 문헌
- Peters, M. E., et al. (2018). Deep contextualized word representations. Proceedings of NAACL-HLT.
- Allen Institute for Artificial Intelligence. (2018). ELMo: Deep contextualized word representations. Official release notes.