A desambiguação de sentidos de palavras (WSD) monolíngue clássica é a tarefa computacional de identificar o sentido correto de uma palavra com base em seu contexto circundante, dentro de um único idioma. Diferentemente de métodos multilíngues que usam equivalentes de tradução, a WSD clássica depende de inventários de sentidos, como dicionários ou tesauros, para atribuir um rótulo de significado discreto a cada ocorrência de palavra ambígua. Esse problema foi um foco central da pesquisa em processamento de linguagem natural desde os anos 1980 até o início dos anos 2010, antes de o surgimento de abordagens de rede neural e modelo de linguagem de grande porte em grande parte substituir as técnicas tradicionais.
A tarefa é tipicamente formulada como um problema de classificação supervisionado ou baseado em conhecimento. Na WSD supervisionada, um sistema é treinado em corpora anotados manualmente, onde cada palavra ambígua é rotulada com seu sentido correto de um inventário predefinido. Métodos baseados em conhecimento, por outro lado, usam recursos lexicais como o WordNet ou definições de dicionário para calcular a similaridade entre o contexto e os sentidos candidatos. A avaliação é geralmente realizada contra conjuntos de dados de referência, como Senseval e SemEval, que fornecem conjuntos de teste padronizados desde 1998.
Desenvolvimento Histórico
As origens da WSD remontam à pesquisa inicial em tradução automática nos anos 1950, mas a era clássica começou nos anos 1980 com a disponibilidade de dicionários legíveis por máquina. Pesquisadores em instituições como Xerox PARC e MIT CSAIL exploraram o uso de definições de dicionário e frases de exemplo como evidência para a seleção de sentidos. O campo ganhou impulso com a criação do WordNet na Universidade de Princeton em 1985, que forneceu um banco de dados lexical estruturado que se tornou o inventário de sentidos padrão de facto para a WSD em inglês.
Nos anos 1990, métodos estatísticos tornaram-se dominantes. O trabalho seminal de Yarowsky (1995) introduziu a hipótese de um sentido por discurso e um algoritmo de bootstrapping que alcançou alta precisão usando apenas um pequeno conjunto inicial de exemplos rotulados. Esse período também viu as primeiras campanhas de avaliação Senseval, começando em 1998, que estabeleceram benchmarks comparativos rigorosos e impulsionaram progresso sistemático.
Os anos 2000 viram o aumento de abordagens de aprendizado de máquina supervisionado, incluindo máquinas de vetores de suporte e árvores de decisão, aplicadas a conjuntos ricos de características derivadas do contexto local, colocações e dependências sintáticas. Sistemas como os desenvolvidos por pesquisadores da Universidade Carnegie Mellon consistentemente lideraram os rankings, alcançando cerca de 70% de precisão em tarefas de granularidade grossa. No entanto, o desempenho estagnou, e o campo lutou com a dificuldade inerente da granularidade de sentidos e da adaptação a domínios.
Métodos e Algoritmos Principais
Os métodos clássicos de WSD caem em três categorias amplas. Métodos baseados em conhecimento dependem de recursos externos sem dados rotulados. O algoritmo de Lesk, proposto por Michael Lesk em 1986, seleciona o sentido cuja definição de dicionário tem a maior sobreposição de palavras com o contexto. Variantes melhoraram isso usando medidas de similaridade semântica do WordNet, como as métricas de Jiang-Conrath e Resnik, que calculam a relação com base no conteúdo de informação e na distância taxonômica.
Métodos supervisionados tratam a WSD como um problema de classificação. A engenharia de características era crítica, com características comuns incluindo as palavras circundantes (saco de palavras), etiquetas de classes gramaticais e relações sintáticas. Algoritmos como naive Bayes, modelos de máxima entropia e máquinas de vetores de suporte foram amplamente usados. Os melhores sistemas no Senseval-2 (2001) e Senseval-3 (2004) empregaram essas técnicas, frequentemente combinadas com métodos de conjunto e ajuste específico de domínio.
Métodos de bootstrapping e semissupervisionados abordaram a escassez de dados rotulados. O algoritmo de Yarowsky treina iterativamente um classificador em um pequeno conjunto inicial, então usa suas previsões em dados não rotulados para expandir o conjunto de treinamento, aproveitando a restrição de um sentido por discurso. Essa abordagem alcançou sucesso notável em tarefas de amostra lexical, onde um pequeno conjunto de palavras-alvo é anotado em muitos contextos.
Avaliação e Benchmarks
As campanhas Senseval e SemEval forneceram a estrutura de avaliação principal. O Senseval-1 (1998) introduziu tanto tarefas de amostra lexical quanto de todas as palavras, onde a última exige desambiguar cada palavra de conteúdo em um texto contínuo. Edições subsequentes, incluindo Senseval-2, Senseval-3 e SemEval-2007, refinaram as tarefas e adicionaram faixas multilíngues. As tarefas de amostra lexical em inglês tipicamente cobriam de 20 a 40 palavras ambíguas, enquanto tarefas de todas as palavras usavam texto contínuo de fontes como o Wall Street Journal e a Wikipedia.
As métricas incluem precisão, recall e pontuação F1, com recall frequentemente calculado como a proporção de palavras que o sistema tenta desambiguar. Os melhores sistemas clássicos alcançaram pontuações F1 em torno de 65-70% em tarefas de todas as palavras, com tarefas de amostra lexical atingindo maior precisão devido ao conjunto limitado de palavras. Um desafio notável foi o "gargalo de aquisição de conhecimento": a anotação manual de sentidos é cara, e inventários de sentidos frequentemente têm distinções de granularidade fina que são difíceis para humanos e máquinas concordarem.
Limitações e Transição para Abordagens Modernas
A WSD clássica enfrentou várias limitações persistentes. A dependência de inventários de sentidos fixos tornou os sistemas frágeis entre domínios e idiomas. Sentidos de granularidade fina, como distinguir entre diferentes tipos de "banco" (instituição financeira vs. margem de rio), provaram-se particularmente difíceis, e a concordância entre anotadores era frequentemente abaixo de 80%. Além disso, os modelos baseados em características não conseguiam capturar contexto semântico de longo alcance efetivamente.
O advento de vetores de palavras nos anos 2010, seguido por modelos transformadores como o BERT em 2018, transformou o campo. Esses modelos aprendem representações contextuais que implicitamente codificam sentidos de palavras, e o ajuste fino em conjuntos de dados de WSD produz melhorias substanciais, frequentemente excedendo 80% de F1 em tarefas de todas as palavras. Consequentemente, métodos clássicos de WSD são agora em grande parte de interesse histórico, embora permaneçam relevantes para entender os fundamentos da semântica lexical e para cenários de baixos recursos onde modelos modernos são impraticáveis.
Legado e Influência
Apesar de ter sido superada, a WSD clássica contribuiu com conceitos fundamentais que persistem na PNL moderna. A ideia de inventários de sentidos e benchmarks de avaliação influenciou tarefas posteriores, como vinculação de entidades e rotulagem de papéis semânticos. As técnicas de bootstrapping e semissupervisionadas pioneiras na WSD ainda são usadas em domínios com dados rotulados limitados. Além disso, os desafios identificados na WSD clássica, como granularidade de sentidos e dependência de contexto, continuam a informar a pesquisa sobre interpretabilidade e avaliação de modelos de linguagem de grande porte.