La clasificación de documentos, también llamada categorización de documentos, es una tarea en la bibliotecología, la ciencia de la información y la informática que consiste en asignar un documento a una o más clases o categorías. La asignación puede realizarse manualmente, a menudo por bibliotecarios o expertos en la materia, o algorítmicamente mediante técnicas computacionales. La clasificación intelectual ha sido históricamente central en la bibliotecología, mientras que la clasificación algorítmica es un tema central en la ciencia de la información y la informática, aunque ambos campos se superponen sustancialmente y fomentan la investigación interdisciplinaria.
Los documentos a clasificar pueden incluir textos, imágenes, música y otros medios, cada uno presentando desafíos de clasificación distintos. A menos que se especifique lo contrario, el término generalmente implica la clasificación de textos. Los documentos pueden categorizarse por tema o por otros atributos como el tipo de documento, el autor o el año de publicación, pero la clasificación por tema es el enfoque más común. Dos filosofías amplias guían la clasificación por tema: los enfoques basados en el contenido y los basados en la solicitud.
Clasificación basada en el contenido vs. basada en la solicitud
La clasificación basada en el contenido asigna un documento a una clase según el peso o la proporción del contenido dedicado a temas particulares. Por ejemplo, las bibliotecas suelen aplicar una regla de que al menos el 20% del contenido de un libro debe relacionarse con la clase asignada. En sistemas automáticos, este peso podría corresponder a la frecuencia de ciertas palabras o términos dentro del documento.
La clasificación basada en la solicitud, también conocida como clasificación o indización orientada a la solicitud, prioriza las necesidades anticipadas de los usuarios. Un clasificador pregunta qué descriptores ayudarían a un usuario a encontrar el documento, considerando todas las consultas posibles y determinando para cuáles el documento es relevante. Este enfoque a menudo refleja una audiencia específica o una política institucional; por ejemplo, una base de datos de estudios feministas podría indizar documentos de manera diferente a una biblioteca histórica general. La clasificación basada en la solicitud se entiende mejor como impulsada por políticas más que puramente por usuarios, a menos que incorpore datos empíricos sobre el comportamiento real de los usuarios.
Clasificación vs. indización
La distinción entre asignar documentos a clases (clasificación) y asignar temas a documentos (indización de materias) a menudo se considera superficial. El científico de la información Frederick Wilfrid Lancaster argumentó que tales distinciones terminológicas carecen de significado y causan confusión. Esta visión se apoya en la intercambiabilidad de los sistemas de clasificación y los tesauros: un esquema de clasificación puede transformarse en un tesauro y viceversa. Asignar un término de materia a un documento equivale a asignarlo a la clase de documentos indizados por ese término, ya que todos los documentos que comparten el mismo término pertenecen a la misma clase.
Clasificación automática de documentos
La clasificación automática de documentos (CAD) utiliza métodos computacionales y aprendizaje automático para categorizar documentos. Las tareas de CAD se dividen en tres categorías: clasificación supervisada, donde la retroalimentación externa (como etiquetas humanas) proporciona clasificaciones correctas; clasificación no supervisada, también llamada agrupamiento de documentos, que opera sin referencia externa; y clasificación semisupervisada, que combina datos etiquetados y no etiquetados. Existen numerosos productos de software bajo diversos modelos de licencia.
Las técnicas comunes incluyen enfoques de red neuronal artificial, árboles de decisión (por ejemplo, ID3 o C4.5), maximización de expectativas, indización semántica latente, clasificadores ingenuos de Bayes, máquinas de vectores de soporte (SVM), algoritmos de k-vecinos más cercanos y frecuencia de término-frecuencia inversa de documento (tf-idf). Los avances en aprendizaje profundo y arquitecturas de transformador han permitido modelos más sofisticados, como clasificadores basados en modelos de lenguaje grandes que capturan el contexto semántico más allá de simples recuentos de palabras.
Aplicaciones
Las aplicaciones prácticas de la clasificación de documentos son diversas. En el filtrado de spam, los algoritmos distinguen el correo no deseado de los mensajes legítimos. El enrutamiento de correo electrónico utiliza la clasificación para dirigir mensajes a los destinatarios apropiados según el tema. La identificación de idioma detecta automáticamente el idioma de un documento, mientras que la clasificación de género determina su tipo literario o retórico. La evaluación de legibilidad evalúa la complejidad del texto para diferentes grupos de edad o niveles de lectura, a menudo apoyando sistemas de simplificación de texto. El análisis de sentimientos identifica la actitud o el tono emocional expresado en un documento. En la vigilancia de la salud pública, la clasificación de publicaciones en redes sociales ayuda a monitorear brotes de enfermedades. El triaje de artículos, particularmente en biología, selecciona documentos relevantes para la curación manual en bases de datos.
Desafíos y tendencias
Un desafío clave en la clasificación automática es manejar la diversidad de tipos de documentos y la ambigüedad del lenguaje natural. Los primeros sistemas dependían de características diseñadas manualmente, pero los métodos modernos aprovechan el aprendizaje profundo para aprender representaciones automáticamente. El auge de la IA generativa y los modelos de transformador preentrenados ha desplazado el campo hacia el ajuste fino y el aprendizaje con pocos ejemplos, reduciendo la necesidad de grandes conjuntos de datos etiquetados. Sin embargo, cuestiones como el sesgo, la interpretabilidad y el costo computacional siguen siendo áreas de investigación activa. La colaboración interdisciplinaria entre la bibliotecología, la ciencia de la información y la informática continúa refinando tanto la clasificación manual como la algorítmica, asegurando que los sistemas permanezcan adaptables a las necesidades cambiantes de los usuarios y a los formatos de documentos.