O Children's Book Test (CBT) é um conjunto de dados de referência projetado para avaliar as capacidades de compreensão de leitura de sistemas de inteligência artificial. Introduzido em 2015, foi criado por pesquisadores do Google DeepMind para fornecer um teste desafiador, porém acessível, para modelos de aprendizado de máquina. O teste é construído a partir de frases extraídas de um grande corpus de livros infantis, disponíveis gratuitamente online através do Projeto Gutenberg. A tarefa envolve prever uma palavra ausente em uma frase, dado o contexto precedente da história. Isso exige que os modelos compreendam a estrutura narrativa, as relações entre personagens e o conhecimento de senso comum, em vez de simplesmente corresponder padrões no texto local.
O CBT foi desenvolvido para preencher uma lacuna nos métodos de avaliação existentes para compreensão de linguagem. Benchmarks anteriores frequentemente focavam em tarefas como etiquetagem de partes do discurso ou análise sintática, que não medem diretamente a compreensão do significado. O design do CBT, usando texto narrativo natural, torna-o um teste mais realista de quão bem um modelo pode acompanhar uma história. O conjunto de dados tornou-se um ponto de referência padrão no campo, usado para comparar o desempenho de várias arquiteturas de redes neurais e técnicas de treinamento.
Estrutura do Conjunto de Dados e Tarefa
O conjunto de dados CBT é dividido em quatro subconjuntos distintos, cada um direcionado a um tipo diferente de palavra: substantivos, verbos, adjetivos e preposições. Cada subconjunto contém uma série de 'perguntas', onde uma pergunta é um trecho de 21 frases consecutivas de um livro. As primeiras 20 frases servem como contexto, e a 21ª frase tem uma palavra removida. O modelo é apresentado ao contexto e à frase incompleta, juntamente com uma lista de 10 palavras candidatas. Apenas uma dessas candidatas é a palavra correta do texto original; as outras nove são palavras selecionadas aleatoriamente do mesmo tipo (por exemplo, outros substantivos se a palavra ausente for um substantivo). A tarefa do modelo é selecionar a palavra correta.
Este formato de múltipla escolha simplifica a avaliação, pois não exige que o modelo gere texto de forma livre. A seleção aleatória de distratores garante que o modelo não possa ter sucesso simplesmente aprendendo frequência de palavras ou colocações comuns; ele deve usar o contexto narrativo mais amplo. Por exemplo, se a história menciona um personagem chamado 'Tom' e um 'cachorro', e a palavra ausente é um substantivo em uma frase como 'Tom brincou com o ___', o modelo deve inferir que 'cachorro' é mais provável do que 'bola' com base nos eventos anteriores da história.
Criação e Corpus
O corpus para o CBT foi compilado a partir de 98 livros infantis baixados do Projeto Gutenberg. Esses livros foram escolhidos porque estão em domínio público e contêm linguagem relativamente simples, tornando-os adequados para testar compreensão. Os pesquisadores, liderados por Felix Hill, Antoine Bordes, Sumit Chopra e Jason Weston, processaram os livros para extrair frases e criar os exemplos de teste. O conjunto de dados final contém mais de 687.000 perguntas em todos os quatro subconjuntos de tipos de palavras. O subconjunto de substantivos é o maior, com aproximadamente 250.000 perguntas, enquanto o subconjunto de preposições é o menor, com cerca de 75.000 perguntas.
Uma característica chave do conjunto de dados é que ele é dividido em conjuntos de treinamento, validação e teste, sem sobreposição nos livros usados para cada um. Isso garante que os modelos sejam testados em histórias que nunca viram durante o treinamento, forçando-os a generalizar para novas narrativas. O uso de livros infantis é deliberado: eles contêm narrativas claras, personagens recorrentes e objetos do cotidiano, que fornecem contexto rico para raciocínio.
Significância na Pesquisa em IA
O CBT desempenhou um papel significativo no avanço da pesquisa em aprendizado profundo para compreensão de linguagem natural. Quando foi lançado, muitos modelos existentes apresentavam desempenho ruim, particularmente nos subconjuntos de substantivos e verbos, que exigem raciocínio mais profundo sobre a história. Isso motivou o desenvolvimento de novas arquiteturas, como redes aumentadas por memória e modelos baseados em atenção. O benchmark ajudou a popularizar a ideia de tarefas de 'cloze', onde uma palavra é deletada e deve ser prevista, como uma forma de avaliar compreensão.
Posteriormente, o CBT foi usado para avaliar os primeiros modelos transformadores, que mostraram melhorias substanciais em relação às redes recorrentes. O sucesso dos transformadores no CBT e em benchmarks semelhantes contribuiu para a ascensão dos grandes modelos de linguagem. Embora modelos modernos como os da OpenAI e da Anthropic agora alcancem pontuações quase perfeitas no CBT, o conjunto de dados permanece uma ferramenta diagnóstica útil para entender o comportamento dos modelos, especialmente em ambientes controlados onde pesquisadores podem sondar habilidades de raciocínio específicas.
Limitações e Críticas
Apesar de sua influência, o CBT tem várias limitações. Críticos notaram que o formato de múltipla escolha pode ser explorado por modelos que aproveitam regularidades estatísticas nas listas de candidatas, em vez de compreensão verdadeira. Por exemplo, um modelo pode aprender a preferir palavras que aparecem frequentemente no contexto, mesmo que não sejam semanticamente apropriadas. Além disso, a tarefa exige apenas selecionar uma única palavra, o que é um aspecto relativamente estreito da compreensão de leitura; não testa a capacidade de responder perguntas abertas, resumir uma história ou fazer inferências sobre informações não declaradas.
Outra crítica é que a seleção aleatória de distratores pode às vezes criar perguntas fáceis, onde a palavra correta é a única que faz sentido gramaticalmente. Isso pode inflar as pontuações de desempenho. Pesquisadores propuseram variantes do CBT, como usar distratores mais desafiadores ou exigir geração de forma livre, para abordar essas questões. No entanto, a simplicidade e reprodutibilidade do CBT o tornaram um benchmark duradouro, e ainda é citado em artigos como base para comparação.
Legado e Influência
O CBT influenciou o design de benchmarks posteriores como LAMBADA e o Stanford Question Answering Dataset (SQuAD), que também usam texto narrativo ou contextual para testar compreensão. Também contribuiu para o desenvolvimento de métricas de avaliação que focam no raciocínio sobre passagens longas. O conjunto de dados está disponível para download e permanece uma ferramenta comum para pesquisadores que estudam aprendizado de máquina e inteligência artificial em ambientes acadêmicos e industriais. Sua criação destacou a importância de usar texto natural, escrito por humanos, para treinamento e avaliação, um princípio que continua a guiar o campo.