TREC-6 é um benchmark amplamente utilizado para classificação de perguntas em processamento de linguagem natural. Ele define seis categorias semânticas amplas nas quais uma pergunta é classificada: ABREVIAÇÃO, ENTIDADE, DESCRIÇÃO, HUMANO, LOCALIZAÇÃO e NUMÉRICO. O conjunto de dados foi introduzido como parte da sexta Conferência de Recuperação de Texto (TREC-6) na trilha de resposta a perguntas em 1999, e desde então se tornou um ambiente de teste padrão para avaliar classificadores que mapeiam perguntas para essas categorias.
A tarefa é tipicamente formulada como um problema de aprendizado supervisionado: dada uma string de pergunta, um sistema deve produzir um dos seis rótulos. O conjunto de dados original do TREC-6 contém 5.452 perguntas de treinamento e 500 perguntas de teste, com os rótulos amplos derivados de uma hierarquia mais refinada de 50 classes. O benchmark é frequentemente usado junto com as variantes TREC-10 e TREC-11, mas TREC-6 especificamente se refere ao cenário amplo de seis classes. Pesquisadores o utilizaram para comparar métodos baseados em características, como máquinas de vetores de suporte com características lexicais e sintáticas, contra abordagens modernas de rede neural.
Definição do Conjunto de Dados e da Tarefa
O conjunto de dados TREC-6 é derivado da coleção de perguntas da trilha de QA do TREC, que inclui perguntas de fontes como os corpora TREC-8 e TREC-9. Cada pergunta é anotada com um dos seis tipos amplos. Por exemplo, "Qual é a capital da França?" se enquadra em LOCALIZAÇÃO, enquanto "Quem escreveu Hamlet?" é HUMANO. A categoria NUMÉRICO cobre perguntas sobre quantidades, datas e porcentagens. A categoria ENTIDADE inclui perguntas sobre objetos específicos, como "Qual é o edifício mais alto?" A categoria ABREVIAÇÃO lida com perguntas como "O que significa NATO?" e DESCRIÇÃO cobre perguntas sobre definições e explicações.
A métrica de avaliação padrão é a acurácia de classificação no conjunto de teste. Como as classes são desbalanceadas (ENTIDADE e NUMÉRICO são mais frequentes), a acurácia ainda é o número principal relatado, mas alguns estudos também relatam pontuações F1 por classe. O benchmark é pequeno para os padrões modernos, mas permanece útil para prototipagem rápida e para estudar o efeito da formulação de perguntas na classificação.
Contexto Histórico
O TREC-6 fez parte da série de conferências TREC organizada pelo Instituto Nacional de Padrões e Tecnologia dos EUA (NIST). A trilha de resposta a perguntas começou em 1999 com o TREC-8, mas o rótulo TREC-6 se refere especificamente ao sexto evento TREC, que incluiu uma tarefa piloto de QA. O esquema de classificação ampla foi formalizado em anos posteriores, e o conjunto de dados TREC-6 se tornou uma referência comum em artigos acadêmicos. Os primeiros sistemas dependiam de regras artesanais e classificadores estatísticos, frequentemente usando características como n-gramas de palavras, etiquetas de classes gramaticais e reconhecimento de entidades nomeadas.
Abordagens e Desempenho
Abordagens clássicas para o TREC-6 incluem o uso de uma máquina de vetores de suporte com características de saco de palavras, que alcançou cerca de 80-85% de acurácia. Métodos mais sofisticados incorporaram árvores de análise sintática e rotulagem de papéis semânticos. Com o avanço do aprendizado profundo, pesquisadores aplicaram redes neurais convolucionais e redes recorrentes, frequentemente atingindo 90-95% de acurácia. A introdução de modelos baseados em transformador, como o BERT, elevou a acurácia acima de 97% no conjunto de teste, embora o pequeno tamanho do conjunto de dados signifique que a variância entre execuções pode ser significativa.
Uma técnica notável é o uso de aumento de dados para expandir o conjunto de treinamento, já que 5.452 perguntas é relativamente limitado. Alguns estudos também usaram aprendizado curricular para ordenar exemplos de treinamento por dificuldade. O benchmark é frequentemente usado como uma verificação de sanidade para novas arquiteturas, pois é leve e rápido de treinar.
Relação com Sistemas Modernos
Embora o TREC-6 seja uma tarefa de classificação simples, ele permanece relevante como um componente de pipelines maiores de resposta a perguntas. Modelos de linguagem de grande escala modernos podem resolver o TREC-6 com acurácia quase perfeita, mas o benchmark ainda é usado para avaliar a interpretabilidade de classificadores e testar robustez a paráfrases. As categorias amplas também são usadas em sistemas de diálogo e recuperação de informação para rotear consultas para manipuladores apropriados.
O benchmark foi criticado por ser fácil demais e por não refletir a complexidade de perguntas do mundo real, mas ainda é citado em artigos como uma linha de base. O conjunto de dados TREC-6 está disponível publicamente e pode ser baixado do site do NIST ou por meio de bibliotecas populares de aprendizado de máquina.