Tokenizador
Un tokenizador (tokenizer) es el componente que divide el texto en tokens y los convierte en identificadores numéricos que un modelo de lenguaje puede procesar, y que después convierte de nuevo en texto los identificadores de salida del modelo.
También llamado: tokenization, BPE, byte pair encoding
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Cada modelo de lenguaje viene con su propio tokenizador, fijado en el momento del entrenamiento. No puedes cambiarlo por otro sin reentrenar el modelo.
Cómo funciona
La mayoría de los tokenizadores modernos usan unidades de subpalabra. Un artículo de 2015 de Sennrich y sus colaboradores mostró que las palabras raras y desconocidas pueden codificarse como secuencias de unidades de subpalabra, con una segmentación basada en byte pair encoding (BPE). BPE parte de caracteres o bytes y fusiona repetidamente los pares más frecuentes en nuevas entradas del vocabulario. Las palabras comunes acaban siendo un solo token, y las raras se dividen en trozos, de modo que el modelo puede manejar incluso una palabra que nunca ha visto.
Por qué importa a los desarrolladores
El tokenizador decide en cuántos tokens se convierte tu texto, lo que determina el coste, la velocidad y cuánto cabe en la ventana de contexto. Los tokenizadores entrenados sobre todo con inglés pueden dividir otros idiomas en muchos más tokens, lo que los hace más lentos y más caros. Los espacios, los números y el formato del código pueden tokenizarse de formas sorprendentes, lo que ayuda a explicar por qué a los modelos a veces les cuesta contar letras o hacer aritmética con dígitos.
En la práctica
Usa el tokenizador que corresponde a tu modelo cuando cuentes tokens. La biblioteca Transformers de Hugging Face carga el tokenizador correspondiente a cada modelo.
Términos relacionados
- Token (LLM)
- Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.
- Modelo de lenguaje grande
- Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
- Precio por token
- El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
- Ventana de contexto
- Una ventana de contexto (context window) es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, e incluye el system prompt, la conversación, los documentos, los resultados de herramientas y la respuesta que escribe.
- Embedding
- Un embedding (vector de representación) es una lista de números (un vector) que representa un fragmento de texto, una imagen u otros datos, generada de forma que los elementos con significado parecido acaban con vectores cercanos entre sí.