La tokenización es el proceso de dividir el texto en unidades discretas llamadas tokens, que sirven como el vocabulario básico que un modelo de lenguaje grande lee como entrada y produce como salida. Los tokens suelen ser piezas de subpalabras en lugar de palabras completas o caracteres individuales, una elección de diseño que equilibra el tamaño del vocabulario con la longitud de la secuencia.
Por qué no palabras o caracteres
Dividir el texto en palabras completas requeriría un vocabulario lo suficientemente grande como para cubrir cada forma de palabra en cada idioma que un modelo soporta, incluyendo palabras raras, errores ortográficos y nombres, y aun así fallaría cada vez que apareciera una palabra genuinamente nueva. Dividir el texto en caracteres individuales evita ese problema de vocabulario, pero produce secuencias mucho más largas para que un modelo las procese, lo cual es costoso dado que los transformadores y sus mecanismos de atención escalan mal con la longitud de la secuencia. La tokenización por subpalabras es un compromiso: las palabras comunes suelen representarse como un solo token, mientras que las palabras más raras se dividen en piezas más pequeñas y reutilizables, e incluso combinaciones de caracteres completamente desconocidas pueden representarse como una secuencia de unidades de subpalabras conocidas.
Métodos
El método de tokenización por subpalabras más utilizado es la codificación por pares de bytes, adaptada para modelos de lenguaje a partir de un algoritmo de compresión de datos de 1994 y basada en técnicas estadísticas anteriores de procesamiento de lenguaje natural para manejar palabras no vistas durante el entrenamiento. Funciona comenzando con caracteres o bytes individuales y fusionando iterativamente los pares que co-ocurren con mayor frecuencia en nuevos tokens, construyendo un vocabulario de tamaño fijo con las unidades de subpalabras más útiles observadas en un corpus de entrenamiento grande. Variantes como SentencePiece y WordPiece siguen una lógica de fusión similar con diferente preprocesamiento y manejo de espacios en blanco. El vocabulario resultante, típicamente de decenas de miles de tokens, se fija una vez que el modelo está entrenado y no puede cambiarse sin reentrenar.
De tokens a números
Una vez que el texto se divide en tokens, cada token se asigna a un índice entero y luego a una representación vectorial aprendida llamada incrustación, que es lo que la red neuronal realmente procesa. GPT-2 y GPT-3 ambos usaron tokenizadores de codificación por pares de bytes a nivel de byte, y la mayoría de los modelos de lenguaje grandes posteriores han seguido enfoques similares, a veces con vocabularios expandidos para representar mejor idiomas no ingleses y código.
Implicaciones prácticas
La tokenización tiene varias consecuencias que son visibles para los usuarios de modelos de lenguaje incluso sin antecedentes técnicos. La ventana de contexto de un modelo, la cantidad máxima de texto que puede procesar a la vez, se mide en tokens en lugar de palabras o caracteres, y las API comerciales suelen cobrar por token, lo que hace que la tokenización sea directamente relevante para el costo. Los esquemas de tokenización entrenados predominantemente con texto en inglés tienden a dividir el texto no inglés, especialmente idiomas con escrituras diferentes, en un mayor número de tokens por palabra que el inglés, lo que puede hacer que usar un modelo sea más caro y puede reducir efectivamente la ventana de contexto utilizable para hablantes de esos idiomas. La tokenización también puede producir comportamientos sorprendentes en tareas que requieren razonar sobre caracteres individuales, como contar letras dentro de una palabra, ya que un modelo puede nunca ver la palabra dividida en sus caracteres componentes.