La desambiguación de sentidos de palabras (WSD) monolingüe clásica es la tarea computacional de identificar el sentido correcto de una palabra basándose en su contexto circundante, dentro de un solo idioma. A diferencia de los métodos multilingües que utilizan equivalentes de traducción, la WSD clásica se basa en inventarios de sentidos, como diccionarios o tesauros, para asignar una etiqueta de significado discreta a cada ocurrencia de palabra ambigua. Este problema fue un enfoque central de la investigación en procesamiento del lenguaje natural desde la década de 1980 hasta principios de la de 2010, antes de que el auge de los enfoques de red neuronal y modelo de lenguaje grande superara en gran medida las técnicas tradicionales.
La tarea se formula típicamente como un problema de clasificación supervisada o basada en conocimiento. En la WSD supervisada, un sistema se entrena con corpus anotados manualmente donde cada palabra ambigua se etiqueta con su sentido correcto de un inventario predefinido. Los métodos basados en conocimiento, por el contrario, utilizan recursos léxicos como WordNet o definiciones de diccionario para calcular la similitud entre el contexto y los sentidos candidatos. La evaluación se realiza generalmente contra conjuntos de datos de referencia como Senseval y SemEval, que han proporcionado conjuntos de prueba estandarizados desde 1998.
Desarrollo Histórico
Los orígenes de la WSD se remontan a la investigación temprana en traducción automática en la década de 1950, pero la era clásica comenzó en la década de 1980 con la disponibilidad de diccionarios legibles por máquina. Investigadores en instituciones como Xerox PARC y MIT CSAIL exploraron el uso de definiciones de diccionario y oraciones de ejemplo como evidencia para la selección de sentidos. El campo ganó impulso con la creación de WordNet en la Universidad de Princeton en 1985, que proporcionó una base de datos léxica estructurada que se convirtió en el inventario de sentidos estándar de facto para la WSD en inglés.
En la década de 1990, los métodos estadísticos se volvieron dominantes. El trabajo seminal de Yarowsky (1995) introdujo la hipótesis de un sentido por discurso y un algoritmo de arranque que logró alta precisión utilizando solo un pequeño conjunto semilla de ejemplos etiquetados. Este período también vio las primeras campañas de evaluación Senseval, comenzando en 1998, que establecieron puntos de referencia comparativos rigurosos y impulsaron un progreso sistemático.
La década de 2000 vio el auge de los enfoques de aprendizaje automático supervisado, incluyendo máquinas de vectores de soporte y árboles de decisión, aplicados a conjuntos de características ricos derivados del contexto local, colocaciones y dependencias sintácticas. Sistemas como los desarrollados por investigadores de Carnegie Mellon University encabezaron consistentemente las tablas de clasificación, logrando alrededor del 70% de precisión en tareas de granularidad gruesa. Sin embargo, el rendimiento se estancó, y el campo luchó con la dificultad inherente de la granularidad de sentidos y la adaptación a dominios.
Métodos y Algoritmos Clave
Los métodos clásicos de WSD se dividen en tres categorías amplias. Los métodos basados en conocimiento dependen de recursos externos sin datos etiquetados. El algoritmo de Lesk, propuesto por Michael Lesk en 1986, selecciona el sentido cuya definición de diccionario tiene la mayor superposición de palabras con el contexto. Las variantes mejoraron esto utilizando medidas de similitud semántica de WordNet, como las métricas de Jiang-Conrath y Resnik, que calculan la relación basada en el contenido de información y la distancia taxonómica.
Los métodos supervisados tratan la WSD como un problema de clasificación. La ingeniería de características fue crítica, con características comunes que incluyen las palabras circundantes (bolsa de palabras), etiquetas de parte del discurso y relaciones sintácticas. Algoritmos como naive Bayes, modelos de máxima entropía y máquinas de vectores de soporte fueron ampliamente utilizados. Los mejores sistemas en Senseval-2 (2001) y Senseval-3 (2004) emplearon estas técnicas, a menudo combinadas con métodos de conjunto y ajuste específico de dominio.
Los métodos de arranque y semisupervisados abordaron la escasez de datos etiquetados. El algoritmo de Yarowsky entrena iterativamente un clasificador en un pequeño conjunto semilla, luego utiliza sus predicciones en datos no etiquetados para expandir el conjunto de entrenamiento, aprovechando la restricción de un sentido por discurso. Este enfoque logró un éxito notable en tareas de muestra léxica, donde un pequeño conjunto de palabras objetivo se anota en muchos contextos.
Evaluación y Puntos de Referencia
Las campañas Senseval y SemEval proporcionaron el marco de evaluación principal. Senseval-1 (1998) introdujo tanto tareas de muestra léxica como de todas las palabras, donde esta última requiere desambiguar cada palabra de contenido en un texto continuo. Ediciones posteriores, incluyendo Senseval-2, Senseval-3 y SemEval-2007, refinaron las tareas y añadieron pistas multilingües. Las tareas de muestra léxica en inglés típicamente cubrían de 20 a 40 palabras ambiguas, mientras que las tareas de todas las palabras utilizaban texto continuo de fuentes como el Wall Street Journal y Wikipedia.
Las métricas incluyen precisión, recall y puntuación F1, con el recall a menudo calculado como la proporción de palabras que el sistema intenta desambiguar. Los mejores sistemas clásicos lograron puntuaciones F1 alrededor del 65-70% en tareas de todas las palabras, con tareas de muestra léxica alcanzando mayor precisión debido al conjunto de palabras limitado. Un desafío notable fue el "cuello de botella de adquisición de conocimiento": la anotación manual de sentidos es costosa, y los inventarios de sentidos a menudo tienen distinciones de granularidad fina que son difíciles de acordar tanto para humanos como para máquinas.
Limitaciones y Transición a Enfoques Modernos
La WSD clásica enfrentó varias limitaciones persistentes. La dependencia de inventarios de sentidos fijos hizo que los sistemas fueran frágiles entre dominios e idiomas. Los sentidos de granularidad fina, como distinguir entre diferentes tipos de "banco" (institución financiera vs. ribera), resultaron particularmente difíciles, y el acuerdo entre anotadores a menudo estaba por debajo del 80%. Además, los modelos basados en características no podían capturar eficazmente el contexto semántico de largo alcance.
La llegada de los embeddings de palabras en la década de 2010, seguida de los modelos Transformer (architecture) como BERT en 2018, transformó el campo. Estos modelos aprenden representaciones contextuales que codifican implícitamente los sentidos de las palabras, y el ajuste fino en conjuntos de datos de WSD produce mejoras sustanciales, a menudo superando el 80% de F1 en tareas de todas las palabras. En consecuencia, los métodos clásicos de WSD son ahora en gran parte de interés histórico, aunque siguen siendo relevantes para comprender los fundamentos de la semántica léxica y para escenarios de bajos recursos donde los modelos modernos son impracticables.
Legado e Influencia
A pesar de haber sido superados, la WSD clásica contribuyó con conceptos fundamentales que persisten en la PNL moderna. La idea de inventarios de sentidos y puntos de referencia de evaluación influyó en tareas posteriores como el enlazado de entidades y el etiquetado de roles semánticos. Las técnicas de arranque y semisupervisadas pioneras en la WSD todavía se utilizan en dominios con datos etiquetados limitados. Además, los desafíos identificados en la WSD clásica, como la granularidad de sentidos y la dependencia del contexto, continúan informando la investigación sobre la interpretabilidad y evaluación de modelos de lenguaje grandes.