O STS-B (Semantic Textual Similarity Benchmark) é um conjunto de dados amplamente utilizado em processamento de linguagem natural (PLN) para avaliar a capacidade de modelos computacionais de mensurar a equivalência semântica de pares de frases. Foi introduzido em 2017 como parte da Tarefa 1 do SemEval-2017, com base nas tarefas compartilhadas anteriores de Similaridade Textual Semântica (STS) de 2012 a 2016. O benchmark consiste em 8.628 pares de frases em inglês, cada um anotado com uma pontuação de similaridade humana que varia de 0 (completamente não relacionado) a 5 (semanticamente equivalente). Essas pontuações são tipicamente calculadas como a média entre múltiplos anotadores para produzir um rótulo padrão-ouro.
O conjunto de dados é extraído de uma variedade de domínios, incluindo legendas de imagens, manchetes de notícias e postagens de fóruns geradas por usuários, tornando-o um campo de teste diversificado para compreensão semântica. O STS-B é comumente usado para treinar e avaliar modelos em tarefas como incorporação de frases, busca semântica e detecção de paráfrases. Tornou-se um benchmark padrão nas comunidades de Machine learning e Artificial intelligence, frequentemente incluído em rankings de avaliação para Large language model.
Definição da Tarefa e Pontuação
Na tarefa do STS-B, um modelo recebe um par de frases e deve produzir uma pontuação de similaridade contínua entre 0 e 5. A principal métrica de avaliação é a correlação de Pearson entre as pontuações previstas pelo modelo e as pontuações-ouro anotadas por humanos. Algumas avaliações também relatam a correlação de Spearman. A tarefa exige que os modelos capturem distinções semânticas sutis, como a diferença entre implicação, paráfrase e contradição.
Por exemplo, o par "Um homem está tocando um violão" e "Um homem está dedilhando um violão" receberia uma pontuação alta (próxima de 5), enquanto "Um homem está tocando um violão" e "Um cachorro está latindo" receberia uma pontuação baixa (próxima de 0). A dificuldade do benchmark reside em lidar com variações sintáticas, sobreposição lexical e conhecimento de mundo.
Contexto Histórico
O benchmark STS-B evoluiu da tarefa piloto de STS no SemEval-2012, que usava dados do Corpus de Paráfrases da Microsoft Research e outras fontes. A versão de 2017, organizada por pesquisadores incluindo Daniel Cer, Mona Diab e outros, consolidou dados de anos anteriores em um único benchmark reutilizável com divisões fixas de treino, validação e teste. Os rótulos do conjunto de teste foram inicialmente ocultados e liberados posteriormente para evitar sobreajuste, uma prática comum em tarefas compartilhadas.
Desde seu lançamento, o STS-B tem sido usado em numerosos estudos. Foi notavelmente incluído no benchmark GLUE (General Language Understanding Evaluation) introduzido em 2018, que agregou nove tarefas de PLN para avaliar modelos de linguagem de propósito geral. O STS-B permanece um componente do GLUE e de seu sucessor, SuperGLUE, embora o SuperGLUE o tenha substituído por uma tarefa mais desafiadora.
Uso no Desenvolvimento de Modelos
O STS-B é frequentemente usado para treinar modelos de incorporação de frases, como aqueles baseados em arquiteturas Transformer (architecture). Modelos como Sentence-BERT (SBERT) e variantes posteriores usam o STS-B como alvo de treinamento por meio de redes siamesas ou de tripletos, otimizando a similaridade de cosseno entre incorporações. O benchmark também é usado para avaliar modelos de Neural network, incluindo sistemas de Deep learning e Large language model como os desenvolvidos por OpenAI, Anthropic e Google DeepMind.
Na era dos grandes modelos pré-treinados, o STS-B é frequentemente usado como uma tarefa de sondagem para avaliar se um modelo aprendeu representações semânticas robustas. Também é usado em configurações multilíngues e translinguais, onde os modelos são avaliados em versões traduzidas do conjunto de dados.
Limitações e Críticas
Apesar de sua popularidade, o STS-B tem limitações conhecidas. O conjunto de dados é relativamente pequeno, e sua escala de anotação (0-5) pode ser subjetiva, levando a variabilidade entre anotadores. O conjunto de teste também é suscetível a vazamento de dados se os modelos forem treinados em versões públicas do conjunto de dados. Além disso, o benchmark foca no inglês, limitando sua aplicabilidade a outros idiomas. Alguns pesquisadores argumentaram que um alto desempenho no STS-B não se traduz necessariamente em melhor desempenho em tarefas downstream, como resposta a perguntas ou sumarização.
Benchmarks Relacionados e Extensões
O STS-B inspirou várias extensões, incluindo o STS-B Multilíngue (STS-B-M), que traduz o conjunto de dados para vários idiomas, e o benchmark STS em árabe. Também está relacionado a outras tarefas de similaridade semântica, como as tarefas compartilhadas de Similaridade Textual Semântica (STS), o Corpus de Paráfrases da Microsoft Research e o conjunto de dados Quora Question Pairs. No contexto de Generative AI, o STS-B é às vezes usado para avaliar a consistência de texto gerado, embora benchmarks mais recentes como MT-Bench e Chatbot Arena tenham ganhado destaque para modelos conversacionais.