FastText es una biblioteca de código abierto desarrollada por Facebook AI Research (FAIR) para aprender representaciones de palabras y realizar clasificación de texto. Fue publicada públicamente en 2016. La biblioteca combina técnicas de aprendizaje automático con un enfoque en la eficiencia computacional, lo que la hace adecuada para tareas de procesamiento de lenguaje natural a gran escala. Su repositorio de GitHub fue archivado el 19 de marzo de 2024, lo que indica el fin del desarrollo activo, aunque el código fuente y los modelos preentrenados siguen disponibles.
Representaciones de palabras
FastText se basa en el modelo skip-gram utilizado en word2vec, pero también tiene en cuenta la estructura interna de las palabras. En lugar de aprender una representación para cada palabra solo como un todo, representa las palabras mediante n-gramas de caracteres. Las palabras que comparten secuencias de caracteres pueden, por tanto, compartir parte de la misma información aprendida.
Este uso de información subpalabra es particularmente útil para palabras raras y lenguas con formación de palabras compleja, y también permite a fastText construir representaciones para palabras que no se vieron durante el entrenamiento. Facebook AI Research publicó posteriormente vectores fastText preentrenados para muchos idiomas, incluida una colección para 157 lenguas entrenada con Common Crawl y Wikipedia. Estos vectores han sido ampliamente adoptados en aplicaciones posteriores, como clasificadores de aprendizaje automático y tareas de similitud semántica.
Clasificación de texto
FastText también puede usarse para clasificación de texto supervisada. Combina información de las palabras y n-gramas de palabras en un texto para predecir una etiqueta de clase. El método fue diseñado para ser computacionalmente eficiente y, en su evaluación original, logró una precisión comparable a varios modelos contemporáneos de aprendizaje profundo, mientras entrenaba y hacía predicciones mucho más rápido. El modo supervisado usa un softmax jerárquico para manejar conjuntos de etiquetas grandes de manera eficiente, lo que lo hace práctico para tareas como análisis de sentimientos y etiquetado de documentos.
Arquitectura y entrenamiento
El modelo central es una red neuronal superficial con una única capa oculta, lo que contrasta con arquitecturas más profundas comunes en el aprendizaje profundo moderno. En el modo no supervisado, cada palabra se representa como la suma de sus vectores de n-gramas de caracteres más un vector de palabra completo opcional. En el modo supervisado, el texto de entrada se incrusta como el promedio de sus vectores de palabra, que luego se pasa a través de un clasificador lineal. El entrenamiento se realiza con descenso de gradiente estocástico y muestreo negativo, lo que reduce el costo computacional. Esta simplicidad permite que fastText escale a miles de millones de palabras en una sola máquina en cuestión de minutos.
Legado e influencia
FastText influyó en desarrollos posteriores en representación y clasificación de texto, particularmente en escenarios con recursos computacionales limitados. Su enfoque de subpalabras informó la investigación sobre lenguas morfológicamente ricas y el manejo de palabras fuera de vocabulario, y sigue siendo una línea base común para evaluar modelos más complejos como los modelos de lenguaje grandes. El repositorio archivado y los vectores preentrenados publicados continúan siendo utilizados por investigadores y profesionales en el ámbito académico e industrial, incluso dentro de plataformas en la nube como Amazon Web Services y Google Cloud para canalizaciones personalizadas de inteligencia artificial.
Véase también
- Word2vec (concepto relacionado, no en la lista proporcionada, pero mencionado como texto)
- Word2vec
- GloVe
- Red neuronal (aprendizaje automático)
- Procesamiento de lenguaje natural