A Estrutura Texto-para-Texto é uma metodologia em processamento de linguagem natural que reformula todas as tarefas em um formato uniforme: dado um texto de entrada, o modelo produz um texto de saída. Essa abordagem foi popularizada pelo modelo T5 (Transformer de Transferência Texto-para-Texto), introduzido pela Google AI em 2019. Ao unificar tarefas como tradução, sumarização e resposta a perguntas em um único paradigma texto-para-texto, a estrutura simplifica o design do modelo e permite aprendizado por transferência entre diversas tarefas.
Os modelos T5 são arquiteturas Encoder-Decoder Architecture Transformer (architecture), onde o codificador processa o texto de entrada e o decodificador gera o texto de saída. Esse design segue o modelo Transformer (architecture) original, mas incorpora modificações como embeddings posicionais relativos e normalização de camadas colocada fora do caminho residual. A flexibilidade da estrutura permite lidar com uma ampla gama de tarefas, desde correção de erros gramaticais até geração de código.
Treinamento
Os modelos T5 originais foram pré-treinados no Corpus Rastejado Limpo Colossal (C4), um conjunto de dados massivo de texto e código extraído da internet. O pré-treinamento envolveu um objetivo de denoising onde o modelo aprendeu a reconstruir texto corrompido, usando tokens sentinela para marcar trechos ausentes. Por exemplo, dado "Obrigado <X> me <Y> para sua festa <Z>.", o modelo aprende a gerar "<X> por convidar <Y> na semana passada <Z>", onde <Z> indica o fim da saída.
Após o pré-treinamento, os modelos T5 podem ser ajustados finamente em tarefas downstream específicas. O ajuste fino adapta a compreensão geral da linguagem do modelo para ter bom desempenho em aplicações como chatbots, tradução automática e sumarização de texto. O formato unificado da estrutura significa que os dados de ajuste fino também são estruturados como pares de texto de entrada e saída, tornando simples aplicá-los a novas tarefas.
Arquitetura
A série T5 inclui modelos de tamanhos variados, todos compartilhando a estrutura codificador-decodificador. O artigo original relatou cinco configurações: pequeno (60M de parâmetros), base (220M), grande (770M), 3B e 11B. Cada modelo tem o mesmo número de camadas no codificador e no decodificador; por exemplo, o T5-pequeno tem 6 camadas em cada. Dimensões arquiteturais-chave incluem o número de cabeças de atenção, dimensão do embedding, tamanho da rede feedforward e dimensão de chave/valor. Notavelmente, os modelos 3B e 11B se desviam da relação típica onde a dimensão do embedding é igual ao produto da dimensão de chave/valor e do número de cabeças.
Comparado ao transformer original, o T5 usa normalização de camadas sem viés aditivo, coloca a normalização fora do caminho residual e emprega embeddings posicionais relativos. Um tokenizador WordPiece com um vocabulário de 32.000 é compartilhado entre entrada e saída, treinado em uma mistura de dados em inglês, alemão, francês e romeno do C4.
Variantes
Vários modelos subsequentes foram construídos sobre a arquitetura T5, frequentemente com nomenclatura não padronizada. Os modelos originais (2019) foram seguidos pelo T5 1.1 (versões melhoradas com ativação GEGLU e renomeados XL/XXL para os tamanhos maiores). O T5 adaptado a LM (2021) continuou o treinamento em tokens adicionais do C4. O Switch Transformer (2021) introduziu uma variante de mistura de especialistas. O T0 (2021) focou em seguir instruções de zero-shot. O ByT5 (2021) operou em texto em nível de byte sem tokenizadores. O Flan-T5 (2022) adicionou ajuste de instruções. O UL2 20B (2022) escalou para 20B de parâmetros e usou um objetivo de mistura de denoisers. O Pile-T5 (2024) usou o tokenizador Llama e foi treinado no The Pile.
Aplicações
O design codificador-decodificador da estrutura T5 permite seguir instruções: o codificador processa a instrução, e o decodificador gera a resposta autoregressivamente. O codificador T5 também pode servir como um codificador de texto para outros modelos, produzindo representações vetoriais para condicionamento. Por exemplo, o Google Imagen usa o T5-XXL como seu codificador de texto, e o AuraFlow usa o Pile-T5-XL. Essas aplicações demonstram a versatilidade da estrutura além das tarefas tradicionais de PLN.
O paradigma texto-para-texto influenciou o desenvolvimento subsequente de modelos de linguagem de grande porte, enfatizando os benefícios de um formato unificado de entrada-saída para aprendizado por transferência e treinamento multitarefa.