A aprendizagem autossupervisionada é uma abordagem de treinamento na qual um modelo aprende a partir de dados que não possuem rótulos fornecidos por humanos, construindo seu próprio sinal de supervisão diretamente da estrutura dos próprios dados. Em vez de receber a saída correta para cada entrada, como em aprendizagem supervisionada, o modelo recebe uma tarefa, como prever uma parte oculta ou ausente dos dados a partir do restante, e o "rótulo" para essa tarefa é simplesmente o valor real que foi ocultado, que já está presente no conjunto de dados bruto e não rotulado, sem custo adicional de anotação.
Ideia central e objetivos
O exemplo canônico é a predição do próximo token: dada uma sequência de texto com a palavra final removida, um modelo é treinado para prever essa palavra, e, como o texto comum já contém sua própria próxima palavra, nenhum humano precisa rotular nada. Esse é precisamente o objetivo usado para pré-treinar grandes modelos de linguagem modernos, que aprendem a partir de vastas quantidades de texto bruto extraído de fontes como Common Crawl puramente ao prever repetidamente o próximo token em uma sequência. Um objetivo relacionado, a predição de token mascarado, oculta um subconjunto aleatório de tokens dentro de uma sequência e treina o modelo para preenchê-los de volta a partir do contexto circundante; esse foi o objetivo de pré-treinamento por trás do BERT. Em visão computacional e aprendizagem multimodal, os objetivos autossupervisionados incluem prever uma região mascarada de uma imagem e objetivos contrastivos, usados pelo CLIP, que treinam um modelo para reconhecer quais pares de imagem e texto (ou duas visões aumentadas da mesma imagem) pertencem juntos versus quais são incompatíveis.
Relação com aprendizagem supervisionada e não supervisionada
A aprendizagem autossupervisionada situa-se conceitualmente entre a aprendizagem supervisionada e a aprendizagem não supervisionada. Ela trabalha com dados não rotulados, como a aprendizagem não supervisionada, mas define uma tarefa de predição explícita com uma resposta correta clara, e é otimizada com o mesmo maquinário de funções de perda, descida de gradiente e retropropagação usado no treinamento supervisionado comum. Alguns pesquisadores a tratam como um subtipo da aprendizagem não supervisionada; outros a tratam como uma categoria própria, precisamente porque sua mecânica de treinamento se assemelha muito à aprendizagem supervisionada, diferindo apenas na origem dos rótulos.
Por que é importante
A aprendizagem autossupervisionada resolveu um gargalo fundamental que limitava a aprendizagem supervisionada: a escassez e o custo de dados rotulados por humanos. Como a internet e outros grandes corpora já contêm enormes quantidades de texto, imagens, áudio e vídeo não rotulados, os objetivos autossupervisionados permitiram que os modelos treinassem em uma escala que os conjuntos de dados rotulados jamais poderiam alcançar, uma mudança que diretamente possibilitou o escalonamento por trás da era moderna dos modelos de fundação. É o mecanismo pelo qual o aprendizado por transferência se tornou tão eficaz para a linguagem: um modelo pré-treinado com um objetivo autossupervisionado em texto amplo aprende representações gerais o suficiente para transferir bem para uma ampla gama de tarefas downstream com relativamente pouco ajuste fino específico da tarefa.
Marcos notáveis e impacto
O objetivo de predição de palavras do Word2vec, de 2013, é um exemplo inicial influente de aprendizagem autossupervisionada aplicada à linguagem, embora o termo ainda não estivesse em uso generalizado na época. A abordagem tornou-se central para o vocabulário e a estratégia do campo após o BERT em 2018 e a série GPT, e, no início dos anos 2020, o pré-treinamento autossupervisionado seguido de ajuste fino supervisionado ou baseado em preferências tornou-se a receita padrão para praticamente todos os grandes modelos de linguagem. O mesmo paradigma se estendeu além do texto: modelos de vídeo autossupervisionados que preveem quadros futuros são um componente fundamental da pesquisa em modelos de mundo para robótica e sistemas autônomos. A limitação central da aprendizagem autossupervisionada é que a qualidade das representações resultantes ainda depende da qualidade, escala e diversidade dos dados não rotulados subjacentes, e vieses ou lacunas presentes nesses dados são absorvidos pelo modelo exatamente como seriam no treinamento supervisionado.