Co-training é um algoritmo de aprendizado semissupervisionado introduzido por Avrim Blum e Tom Mitchell em 1998. Ele aborda o desafio de dados rotulados limitados ao aproveitar exemplos não rotulados quando as características podem ser naturalmente divididas em duas visões condicionalmente independentes. O método treina dois classificadores separados nessas visões, e as previsões de alta confiança de cada classificador sobre dados não rotulados são usadas para aumentar o conjunto de treinamento do outro, melhorando iterativamente ambos os modelos.
A abordagem baseia-se na suposição de que cada visão é suficiente para o aprendizado por si só e que as visões são condicionalmente independentes dado o rótulo da classe. Na prática, isso se aplica a domínios como classificação de páginas da web, onde o texto de uma página e o texto âncora dos hiperlinks que apontam para ela fornecem sinais distintos, porém complementares. O Co-training influenciou técnicas semissupervisionadas posteriores e permanece um conceito fundamental na pesquisa em Machine learning.
Algoritmo e Mecanismo
O Co-training começa com dois conjuntos de dados rotulados, cada um contendo características de uma única visão (por exemplo, visão A e visão B). Dois classificadores base, frequentemente modelos Naive Bayes ou Decision Trees, são treinados independentemente nesses conjuntos rotulados. A cada iteração, cada classificador seleciona um pequeno número de exemplos não rotulados para os quais tem a maior confiança (tipicamente medida pela probabilidade prevista) e atribui pseudo-rótulos a eles. Esses exemplos recém-rotulados são então adicionados ao conjunto de treinamento do outro classificador, e ambos os classificadores são retreinados.
O processo se repete por um número fixo de iterações ou até que não restem previsões de alta confiança. O ponto-chave é que cada classificador fornece ao outro dados rotulados 'novos' que não teria encontrado sozinho, expandindo efetivamente o pool de treinamento sem anotação humana. A análise teórica de Blum e Mitchell mostrou que, se as visões são condicionalmente independentes e cada uma é suficiente, o co-training pode aumentar a precisão mesmo com muito poucos rótulos iniciais.
Aplicações e Domínios
O Co-training tem sido aplicado em vários campos onde dados multivisão existem naturalmente. Em processamento de linguagem natural, tem sido usado para tarefas como Named-entity recognition e Sentiment Analysis, onde uma visão pode ser características em nível de palavra e outra características sintáticas ou posicionais. Em visão computacional, o co-training pode combinar histogramas de cores com descritores de textura para classificação de objetos. Em bioinformática, tem sido usado para classificar dados de expressão gênica usando diferentes plataformas de medição como visões.
Um exemplo clássico é a classificação de páginas da web: o conteúdo textual de uma página e o texto âncora dos links de entrada formam duas visões. O trabalho inicial de Blum e Mitchell demonstrou que o co-training poderia classificar páginas iniciais de cursos acadêmicos com alta precisão usando apenas algumas páginas rotuladas e muitas não rotuladas. Essa aplicação destacou o valor prático do método em ambientes onde a rotulagem é cara, mas dados não rotulados são abundantes.
Extensões e Variantes
Várias extensões foram propostas para relaxar as suposições estritas do co-training. O tri-training usa três classificadores e votação majoritária para atribuir pseudo-rótulos, reduzindo a necessidade de divisão de visões. A co-regularização adiciona um termo de penalidade para incentivar concordância entre classificadores em dados não rotulados. O democratic-co-learning generaliza a ideia para múltiplos aprendizes com algoritmos diferentes, em vez de visões de características diferentes.
Outra variante, o self-training, é uma abordagem mais simples de visão única, onde um classificador rotula suas próprias previsões confiantes, mas é mais propenso à propagação de erros. O design multivisão do co-training mitiga isso ao fazer cada classificador corrigir os erros do outro, desde que a suposição de independência seja válida. Pesquisadores também exploraram adaptações de aprendizado profundo, onde redes neurais com arquiteturas diferentes ou transformações de entrada servem como as duas visões.
Fundamentos Teóricos e Limitações
A garantia teórica do co-training depende da independência condicional das visões dado o rótulo. Na prática, essa suposição é frequentemente violada, levando a desempenho degradado. Quando as visões são correlacionadas, os classificadores podem reforçar os erros um do outro, causando viés de confirmação. Estudos empíricos mostraram que o co-training ainda pode funcionar bem quando a suposição de independência é aproximadamente satisfeita, mas pode ter desempenho inferior ao self-training simples em conjuntos de dados com características altamente correlacionadas.
Outra limitação é a necessidade de uma divisão natural de características, que nem sempre está disponível. Nesses casos, os profissionais podem usar divisões aleatórias de características, mas isso frequentemente enfraquece a justificativa teórica. O método também requer ajuste cuidadoso dos limiares de confiança e do número de exemplos adicionados por iteração, pois a rotulagem excessivamente agressiva pode introduzir ruído. Apesar desses desafios, o co-training permanece um referencial na literatura de aprendizado semissupervisionado e um bloco de construção para algoritmos mais robustos.
Relação com o Aprendizado Semissupervisionado Moderno
Com o avanço do Deep learning, o co-training inspirou abordagens modernas como regularização de consistência e pseudo-rotulagem usadas em modelos de última geração. Técnicas como mixmatch e fixmatch combinam múltiplas visões por meio de aumento de dados e impõem consistência de previsão, ecoando a ideia central do co-training de aproveitar a concordância entre diferentes perspectivas. O conceito também se alinha com o aprendizado multivisão em Representation learning, onde modelos aprendem a partir de múltiplas modalidades ou conjuntos de características.
Na era dos Large language models, os princípios do co-training aparecem em pipelines de reinforcement-learning-from-human-feedback (Reinforcement Learning from AI Feedback (RLAIF)), onde modelos separados para previsão de recompensa e geração de políticas refinam-se iterativamente. Embora os métodos modernos frequentemente escalem para corpora não rotulados massivos, a percepção fundamental do co-training - de que visões diversas podem fornecer sinais de supervisão - continua a informar o design de algoritmos em ambientes acadêmicos e industriais.