T5(Text-to-Text Transfer Transformer)는 2019년 Google AI가 개발하고 발표한 일련의 대규모 언어 모델이다. 원래의 트랜스포머 모델과 마찬가지로 T5 모델은 인코더-디코더 트랜스포머로, 인코더는 입력 텍스트를 처리하고 디코더는 출력 텍스트를 생성한다. T5 모델은 일반적으로 대규모 텍스트 및 코드 데이터셋에서 사전 학습되며, 이후 사전 학습 목표와 유사한 텍스트 기반 작업을 수행할 수 있고 다른 작업에 맞춰 미세 조정될 수 있다. 이들은 챗봇, 기계 번역, 텍스트 요약, 코드 생성 및 로보틱스에 적용되어 왔다.
학습
원래 T5 모델은 인터넷에서 수집된 텍스트와 코드를 포함하는 Colossal Clean Crawled Corpus(C4)에서 사전 학습되었다. 이 사전 학습을 통해 모델은 일반적인 언어 이해 및 생성을 학습할 수 있다. T5 모델은 이후 하위 작업에 대해 미세 조정될 수 있다. 사전 학습은 텍스트-투-텍스트 형식을 사용했으며, 모든 작업은 <입력 텍스트> -> <출력 텍스트>로 구성된다. 예로는 손상된 텍스트 복원(예: 센티널로 표시된 빈칸 채우기), 번역(예: 영어에서 독일어로), 문법적 수용성 판단(예: CoLA 문장 분류)이 있다.
아키텍처
T5 시리즈는 다양한 크기의 모델을 포함하며, 모두 인코더-디코더 트랜스포머이다. 원래 논문은 다섯 가지 모델을 보고했다: T5-small(60M 파라미터), T5-base(220M), T5-large(770M), T5-3B(3B), T5-11B(11B). 각 모델은 인코더와 디코더에 동일한 수의 레이어를 가지며, 예를 들어 T5-small은 각각 6개의 레이어를 가진다. 주요 아키텍처 차원에는 레이어 수, 어텐션 헤드 수, 임베딩 차원, 피드포워드 차원 및 키/값 차원이 포함된다. 일반적인 트랜스포머와 달리 3B 및 11B 모델은 d_model = d_kv * n_head 관계를 충족하지 않는다. 원래 트랜스포머와 비교하여 T5는 가산 바이어스 없는 레이어 정규화를 사용하고, 레이어 정규화를 잔차 경로 외부에 배치하며, 상대적 위치 임베딩을 사용한다. 어휘 크기가 32,000인 WordPiece 토크나이저가 입력과 출력에 공유되어 사용되었으며, C4에서 영어, 독일어, 프랑스어 및 루마니아어 데이터를 10:1:1:1 비율로 혼합하여 학습되었다.
변형
이후 여러 모델이 T5 아키텍처를 사용했다. 주목할 만한 변형은 다음과 같다:
- T5 1.1 (2019-2020): ReLU 대신 GEGLU 활성화를 사용한 개선된 버전; 3B 및 11B는 XL 및 XXL로 이름이 바뀌고 형태가 수정되었다.
- LM-adapted T5 (2021): T5 체크포인트에서 시작하여 C4에서 추가로 100B 토큰을 학습했다.
- Switch Transformer (2021): 피드포워드 레이어를 전문가 레이어로 대체한 mixture-of-experts 변형.
- T0 (2021): LM-adapted T5에서 시작하여 지침에 따라 제로샷 작업을 수행하도록 학습되었다.
- ByT5 (2021): 토크나이저 없이 UTF-8 바이트에서 작동하는 바이트 수준 버전으로, 다국어 C4에서 학습되었다.
- Flan-T5-XL (2022): T5 XL에서 시작하여 FLAN 데이터셋으로 지침 튜닝되었다.
- T5X (2022): 원래 T5 코드베이스의 JAX 기반 재구현(모델 아님).
- UL2 20B (2022): 20B 파라미터로 확장되었으며, C4에서 디노이저 목표 혼합으로 학습되었다; 특히 TPU 클러스터에서 한 달 동안 우연히 학습되었다.
- Flan-UL2 20B (2022): UL2 20B를 FLAN으로 지침 미세 조정한 버전.
- Pile-T5 (2024): 동일한 아키텍처이지만 Llama 토크나이저를 사용하고 The Pile에서 학습되었으며, base, large, XL 및 XXL 크기로 제공된다.
응용
T5의 인코더-디코더 구조는 지침 따르기를 가능하게 한다: 인코더는 지침을 인코딩하고 디코더는 응답을 자기회귀적으로 생성한다. T5 인코더는 또한 BERT와 유사한 텍스트 인코더로 사용될 수 있으며, 하위 작업을 위한 벡터 표현을 생성한다. 예를 들어 Google Imagen은 T5-XXL을 텍스트 인코더로 사용하고, AuraFlow 확산 모델은 Pile-T5-XL을 사용한다. 이러한 응용은 생성형 AI 및 그 너머에서 T5의 다재다능함을 보여준다.