Yinfei Yang은 구글의 컴퓨터 과학자이자 연구 과학자로, 자연어 처리에서 표현 학습을 발전시킨 Transformer (architecture) 기반 모델인 BERT의 공동 저자로 알려져 있다. 그의 연구 관심사는 자연어 생성, Sequence-to-Sequence (Seq2Seq) 모델링, Machine learning을 포함한다. 그는 언어 이해 분야에서 Artificial intelligence의 이론적 기초와 실제 응용 모두에 기여했다.
경력 및 연구
Yang은 구글 리서치에서 근무하며 자연어 이해와 생성에 집중해 왔다. 그는 2018년 BERT를 소개한 논문을 공동 저술했으며, 이는 대규모 언어 모델의 기초 모델이 되었다. 그의 다른 주목할 만한 연구로는 생산 시스템에서 널리 채택된 문장 임베딩 학습 모델인 Universal Sentence Encoder가 있다. 그는 또한 Encoder-Decoder Architecture 아키텍처와 Multi-Head Attention 메커니즘에 대한 연구를 포함한 텍스트 생성 연구에 기여했다. 그의 연구는 종종 대규모로 훈련된 신경망을 포함한다.
BERT와 양방향 표현 학습
BERT는 Bidirectional Encoder Representations from Transformers의 약자로, 2018년에 발표된 "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" 논문에서 소개되었다. 이 모델은 위치 인코딩, 레이어 정규화, 잔차 연결, 훈련 중 Dropout을 갖춘 transformer 인코더를 사용한다. 이는 마스크 언어 모델링과 다음 문장 예측 목표를 사용하여 대규모 말뭉치에서 사전 훈련되었다. BERT-base는 1억 1천만 개의 매개변수를 포함하고, BERT-large는 3억 4천만 개의 매개변수를 포함한다. 이 모델은 GLUE 점수와 SQuAD 질의응답 과제를 포함한 여러 자연어 처리 벤치마크에서 최첨단 결과를 달성했다. 양방향 훈련 방식은 양방향에서 문맥을 포착할 수 있게 하여 단어 관계 이해가 필요한 과제에서 성능을 향상시켰다. 이러한 모델을 훈련하려면 세심한 학습률 스케줄링과 Adam 옵티마이저의 사용이 필요했다.
Universal Sentence Encoder
Yang은 문장을 고정 길이 벡터로 매핑하는 모델인 Universal Sentence Encoder를 공동 저술했다. 이 모델은 transformer 아키텍처를 기반으로 하며 웹 뉴스, 질의응답 페이지, 토론 포럼을 포함한 다양한 데이터 소스에서 훈련되었다. 이는 의미적 유사성, 텍스트 분류, 클러스터링과 같은 과제를 위한 전이 학습을 지원한다. Universal Sentence Encoder는 개발자와 연구자를 위한 도구로 출시되어 과제별 훈련 없이 효율적인 문장 수준 표현을 가능하게 한다. 이 연구는 문장 임베딩과 의미 검색 분야에서 영향력이 있었다.
자연어 생성 및 영향
Yang의 자연어 생성 기여에는 sequence-to-sequence 모델과 일관되고 문맥에 적합한 텍스트를 생성하는 기법에 대한 연구가 포함된다. 이 분야에서는 출력 품질을 향상시키기 위해 빔 검색과 같은 디코딩 전략이 일반적으로 사용된다. 그의 연구는 요약, 대화 시스템, 질의응답과 같은 과제에 적용되었다. 그가 개발에 기여한 표현 학습 방법, 특히 BERT는 이 분야에 지속적인 영향을 미쳤다. 이는 하위 과제에 대한 더 효과적인 미세 조정을 가능하게 했으며 이후 대규모 언어 모델과 생성형 AI 시스템의 구성 요소로 작용했다. 그의 문장 임베딩 연구는 의미적 텍스트 유사성과 검색 접근 방식에도 영향을 주었다.