텍스트-투-텍스트 프레임워크는 모든 작업을 균일한 형식으로 재구성하는 자연어 처리 방법론으로, 입력 텍스트가 주어지면 모델이 출력 텍스트를 생성한다. 이 접근 방식은 2019년 Google AI가 도입한 T5(텍스트-투-텍스트 변환 트랜스포머) 모델에 의해 대중화되었다. 번역, 요약, 질문 응답과 같은 작업을 단일 텍스트-투-텍스트 패러다임으로 통합함으로써, 이 프레임워크는 모델 설계를 단순화하고 다양한 작업 간 전이 학습을 가능하게 한다.
T5 모델은 인코더-디코더 트랜스포머 아키텍처로, 인코더가 입력 텍스트를 처리하고 디코더가 출력 텍스트를 생성한다. 이 설계는 원래 트랜스포머 모델을 따르지만 상대 위치 임베딩과 잔차 경로 외부에 배치된 레이어 정규화와 같은 수정 사항을 통합한다. 이 프레임워크의 유연성은 문법 오류 수정부터 코드 생성까지 광범위한 작업을 처리할 수 있게 한다.
훈련
원래 T5 모델은 인터넷에서 수집된 방대한 텍스트 및 코드 데이터셋인 Colossal Clean Crawled Corpus(C4)에서 사전 훈련되었다. 사전 훈련은 모델이 손상된 텍스트를 재구성하는 법을 학습하는 노이즈 제거 목표를 포함했으며, 누락된 구간을 표시하기 위해 센티널 토큰을 사용했다. 예를 들어, "Thank you <X> me to your party <Y> week."가 주어지면 모델은 "<X> for inviting <Y> last <Z>"를 출력하는 법을 학습하며, 여기서 <Z>는 출력의 끝을 나타낸다.
사전 훈련 후, T5 모델은 특정 하위 작업에 대해 미세 조정될 수 있다. 미세 조정은 모델의 일반적인 언어 이해를 챗봇, 기계 번역, 텍스트 요약과 같은 응용 분야에서 잘 수행되도록 적응시킨다. 이 프레임워크의 통합 형식은 미세 조정 데이터도 입력-출력 텍스트 쌍으로 구성되므로 새로운 작업에 적용하기가 간단하다.
아키텍처
T5 시리즈는 다양한 크기의 모델을 포함하며, 모두 인코더-디코더 구조를 공유한다. 원래 논문은 다섯 가지 구성을 보고했다: small(6천만 매개변수), base(2억 2천만), large(7억 7천만), 3B, 11B. 각 모델은 인코더와 디코더에 동일한 수의 레이어를 가지며, 예를 들어 T5-small은 각각 6개의 레이어를 가진다. 주요 아키텍처 차원에는 어텐션 헤드 수, 임베딩 차원, 피드포워드 네트워크 크기, 키/값 차원이 포함된다. 특히 3B 및 11B 모델은 임베딩 차원이 키/값 차원과 헤드 수의 곱과 같은 일반적인 관계에서 벗어난다.
원래 트랜스포머와 비교하여 T5는 가산 편향 없는 레이어 정규화를 사용하고, 잔차 경로 외부에 정규화를 배치하며, 상대 위치 임베딩을 사용한다. 어휘 크기가 32,000인 WordPiece 토크나이저는 입력과 출력에 공유되며, C4의 영어, 독일어, 프랑스어, 루마니아어 혼합 데이터로 훈련되었다.
변형
여러 후속 모델이 T5 아키텍처를 기반으로 구축되었으며, 종종 비표준 명명을 사용한다. 원래 모델(2019) 이후 T5 1.1(GEGLU 활성화 및 더 큰 크기에 대한 XL/XXL로 이름 변경된 개선 버전)이 이어졌다. LM-adapted T5(2021)는 추가 C4 토큰에 대한 훈련을 계속했다. Switch Transformer(2021)는 혼합 전문가 변형을 도입했다. T0(2021)는 제로샷 지시 따르기에 초점을 맞췄다. ByT5(2021)는 토크나이저 없이 바이트 수준 텍스트로 작동했다. Flan-T5(2022)는 지시 튜닝을 추가했다. UL2 20B(2022)는 200억 매개변수로 확장하고 혼합 노이즈 제거기 목표를 사용했다. Pile-T5(2024)는 Llama 토크나이저를 사용하고 The Pile에서 훈련되었다.
응용 분야
T5 프레임워크의 인코더-디코더 설계는 지시 따르기를 가능하게 한다: 인코더가 지시를 처리하고 디코더가 응답을 자기회귀적으로 생성한다. T5 인코더는 다른 모델의 텍스트 인코더로도 사용될 수 있으며, 조건화를 위한 벡터 표현을 생성한다. 예를 들어, Google Imagen은 T5-XXL을 텍스트 인코더로 사용하고, AuraFlow는 Pile-T5-XL을 사용한다. 이러한 응용은 전통적인 NLP 작업을 넘어선 프레임워크의 다재다능함을 보여준다.
텍스트-투-텍스트 패러다임은 이후 대규모 언어 모델 개발에 영향을 미쳤으며, 전이 학습 및 다중 작업 훈련을 위한 통합 입력-출력 형식의 이점을 강조했다.