Tokenización en LLM

Definición

La tokenización es el proceso de dividir el texto en unidades más pequeñas (tokens), como palabras, subpalabras o caracteres, que sirven como entradas para los modelos de lenguaje.

Propósito

El propósito es estandarizar el texto en componentes manejables para el entrenamiento y la inferencia en LLM.

Importancia

• Paso fundamental de preprocesamiento en PNL.
• Afecta el tamaño y la eficiencia del vocabulario.
• Las opciones de tokenización afectan la precisión y el rendimiento.
• Relacionado con incrustaciones y entrenamiento de modelos.

Cómo Funciona

1. Definir esquema de tokenización (palabra, subpalabra, carácter).
2. Aplicar tokenizador al texto de entrada.
3. Asignar tokens a identificaciones numéricas.
4. Introduzca tokens en el modelo para su procesamiento.
5. Convierte los tokens de salida nuevamente a texto.

Ejemplos (mundo real)

• Codificación de pares de bytes (BPE) utilizada en modelos GPT.
• WordPiece utilizado en BERT.
• Fragmento de oración utilizado en PNL multilingüe.

Referencias / Lecturas adicionales

• Sennrich et al. “Traducción automática neuronal de palabras raras con unidades de subpalabras”. ACL.
• Documentación de Google SentencePiece.
• Jurafsky & Martin. Procesamiento del habla y del lenguaje.