El aprendizaje con etiquetas positivas y no etiquetadas, a menudo abreviado como aprendizaje PU, es una subdisciplina del aprendizaje automático que aborda el problema de la clasificación binaria cuando solo se dispone de ejemplos positivos y datos no etiquetados. A diferencia del aprendizaje supervisado estándar, que requiere instancias etiquetadas tanto positivas como negativas, el aprendizaje PU opera bajo la restricción de que los ejemplos negativos están ausentes o no están explícitamente identificados. Este escenario surge en muchas aplicaciones del mundo real donde obtener etiquetas negativas fiables es difícil, costoso o poco práctico. El objetivo es construir un clasificador que pueda distinguir entre instancias positivas y negativas, a pesar de la falta de datos de entrenamiento negativos explícitos.
El problema formal se articuló por primera vez a principios de la década de 2000, con trabajos fundacionales de Bing Liu y sus colegas de la Universidad de Illinois en Chicago. Su artículo de 2002 introdujo el concepto de aprender a partir de ejemplos positivos y no etiquetados, proponiendo algoritmos que tratan los datos no etiquetados como una mezcla de instancias positivas y negativas. Desde entonces, el aprendizaje PU se ha convertido en una herramienta importante en dominios como la recuperación de información, la detección de fraudes y la bioinformática, donde las etiquetas negativas suelen ser ambiguas o incompletas.
Formulación del problema
En una tarea de clasificación binaria estándar, un conjunto de entrenamiento consiste en pares etiquetados (x, y) donde y ∈ {+1, -1}. En el aprendizaje PU, el conjunto de entrenamiento se divide en dos subconjuntos: un conjunto de ejemplos positivos P, donde se sabe que todas las instancias son positivas, y un conjunto de ejemplos no etiquetados U, que puede contener tanto instancias positivas como negativas. El desafío clave es que el conjunto no etiquetado es una mezcla, y la proporción de instancias positivas en U es desconocida. Esto hace que el problema de aprendizaje sea fundamentalmente diferente del aprendizaje supervisado estándar, ya que la ausencia de etiquetas negativas introduce un sesgo que debe corregirse.
Una suposición común en el aprendizaje PU es que el conjunto de ejemplos positivos etiquetados es una muestra aleatoria de la distribución positiva real, lo que se conoce a menudo como la suposición de "selección completamente aleatoria" (SCAR, por sus siglas en inglés). Bajo esta suposición, la probabilidad de que una instancia positiva sea etiquetada es constante e independiente de sus características. Esto permite el desarrollo de estimadores insesgados del riesgo de clasificación, que pueden optimizarse utilizando técnicas de la teoría del aprendizaje estadístico.
Enfoques y algoritmos
Se han desarrollado varias familias de algoritmos para abordar el aprendizaje PU. Un enfoque temprano es la estrategia de dos pasos, que primero identifica ejemplos negativos fiables a partir del conjunto no etiquetado utilizando una heurística, y luego entrena un clasificador estándar sobre los ejemplos positivos y los negativos fiables. Este método, popularizado por Liu y sus colaboradores, a menudo utiliza una técnica de "espía" o un criterio basado en la distancia para seleccionar los negativos probables. Sin embargo, estos métodos pueden ser sensibles a la calidad de la selección inicial de negativos.
Un enfoque más fundamentado se basa en el aprendizaje sesgado, donde los datos no etiquetados se tratan como ejemplos negativos ruidosos. El clasificador se entrena para minimizar una función de pérdida ponderada que tiene en cuenta el hecho de que algunas instancias no etiquetadas son en realidad positivas. Esto puede formularse como un problema de aprendizaje sensible al costo, donde el costo de clasificar erróneamente una instancia positiva en el conjunto no etiquetado se ajusta en función de la probabilidad previa estimada de positivos.
En años recientes, se han aplicado métodos de aprendizaje profundo al aprendizaje PU, particularmente utilizando redes neuronales. Un desarrollo notable es el estimador de riesgo insesgado propuesto por du Plessis, Niu y Sugiyama en 2014, que proporciona una forma teóricamente fundamentada de entrenar clasificadores sin etiquetas negativas. Este estimador se ha extendido para manejar funciones de pérdida no convexas y ha demostrado ser efectivo en entornos de alta dimensionalidad, como la clasificación de imágenes y texto.
Aplicaciones
El aprendizaje PU ha encontrado un uso generalizado en dominios donde las etiquetas negativas son escasas o poco fiables. En la recuperación de información, se utiliza para la clasificación de documentos y el filtrado de spam, donde solo se conoce un pequeño conjunto de documentos relevantes y el resto no está etiquetado. En bioinformática, el aprendizaje PU se aplica para predecir interacciones proteína-proteína y funciones génicas, donde las interacciones positivas confirmadas experimentalmente están disponibles, pero las interacciones negativas rara vez se verifican.
Otra aplicación significativa es la detección de fraudes y la detección de anomalías. Por ejemplo, en la detección de fraudes con tarjetas de crédito, las transacciones etiquetadas como fraudulentas son raras y a menudo incompletas, mientras que la gran mayoría de las transacciones no están etiquetadas. El aprendizaje PU permite entrenar modelos sobre los casos de fraude confirmados y el gran conjunto de transacciones no etiquetadas, mejorando las tasas de detección sin requerir un etiquetado exhaustivo. De manera similar, en el diagnóstico médico, el aprendizaje PU puede utilizarse para identificar pacientes con una enfermedad rara basándose en un pequeño conjunto de casos confirmados y un gran conjunto de registros de pacientes no etiquetados.
Desafíos y extensiones
A pesar de su utilidad, el aprendizaje PU enfrenta varios desafíos. El principal es la estimación de la probabilidad previa de la clase, es decir, la proporción de instancias positivas en el conjunto no etiquetado. Una estimación incorrecta puede llevar a clasificadores sesgados y a un rendimiento deficiente. Los investigadores han propuesto varios métodos para la estimación de la probabilidad previa, incluidos el uso de validación cruzada y técnicas de emparejamiento de momentos, pero el problema sigue abierto en muchos entornos prácticos.
Otro desafío es la presencia de ruido en las etiquetas del conjunto positivo. En algunas aplicaciones, los ejemplos positivos etiquetados pueden estar mal etiquetados, lo que puede degradar el rendimiento de los algoritmos de aprendizaje PU. Se han desarrollado variantes robustas para manejar dicho ruido, a menudo incorporando suposiciones adicionales sobre el proceso de generación de ruido.
Las extensiones del aprendizaje PU incluyen el aprendizaje PU semisupervisado, donde también se dispone de un pequeño número de etiquetas negativas, y el aprendizaje PU con múltiples conjuntos positivos, donde diferentes fuentes de ejemplos positivos pueden tener distribuciones distintas. Estas extensiones buscan relajar las suposiciones estrictas del entorno PU básico y mejorar la aplicabilidad a problemas del mundo real complejos.
Relación con otros paradigmas de aprendizaje
El aprendizaje PU está estrechamente relacionado con otros paradigmas de aprendizaje débilmente supervisado, como el aprendizaje semisupervisado y el aprendizaje con etiquetas ruidosas. En el aprendizaje semisupervisado, se dispone de ejemplos positivos y negativos etiquetados, junto con datos no etiquetados, mientras que el aprendizaje PU carece por completo de etiquetas negativas. En el aprendizaje con etiquetas ruidosas, el conjunto de entrenamiento contiene etiquetas positivas y negativas, pero algunas de ellas son incorrectas. El aprendizaje PU puede verse como un caso extremo de aprendizaje con etiquetas ruidosas, donde todas las etiquetas negativas faltan y algunas instancias no etiquetadas son en realidad positivas.
La conexión con la clasificación de una clase también es notable. La clasificación de una clase tiene como objetivo modelar la distribución de la clase positiva e identificar valores atípicos, lo que es similar al aprendizaje PU cuando se supone que el conjunto no etiquetado contiene principalmente negativos. Sin embargo, el aprendizaje PU tiene explícitamente en cuenta la presencia de positivos en el conjunto no etiquetado, lo que lo hace más general.
Direcciones futuras
A medida que la inteligencia artificial continúa avanzando, el aprendizaje PU se está integrando en modelos más complejos, incluidos los modelos de lenguaje grandes y las arquitecturas basadas en transformadores. Estos modelos pueden aprovechar grandes cantidades de datos de texto no etiquetados, y el aprendizaje PU proporciona un marco para ajustarlos con solo un pequeño conjunto de ejemplos positivos. Esto es particularmente relevante en dominios como el análisis de documentos legales y la minería de literatura científica, donde los ejemplos positivos son escasos pero los corpus no etiquetados son vastos.
La investigación también está explorando el uso del aprendizaje PU en el aprendizaje por refuerzo y en entornos de aprendizaje en línea, donde la distribución de los datos puede cambiar con el tiempo. Además, el desarrollo de garantías teóricas para el aprendizaje PU bajo diversas suposiciones sigue siendo un área activa de estudio, con el objetivo de proporcionar métodos robustos y fiables para los profesionales.