Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Tokenizador

Un tokenizador (tokenizer) es el componente que divide el texto en tokens y los convierte en identificadores numéricos que un modelo de lenguaje puede procesar, y que después convierte de nuevo en texto los identificadores de salida del modelo.

También llamado: tokenization, BPE, byte pair encoding

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Cada modelo de lenguaje viene con su propio tokenizador, fijado en el momento del entrenamiento. No puedes cambiarlo por otro sin reentrenar el modelo.

Cómo funciona

La mayoría de los tokenizadores modernos usan unidades de subpalabra. Un artículo de 2015 de Sennrich y sus colaboradores mostró que las palabras raras y desconocidas pueden codificarse como secuencias de unidades de subpalabra, con una segmentación basada en byte pair encoding (BPE). BPE parte de caracteres o bytes y fusiona repetidamente los pares más frecuentes en nuevas entradas del vocabulario. Las palabras comunes acaban siendo un solo token, y las raras se dividen en trozos, de modo que el modelo puede manejar incluso una palabra que nunca ha visto.

Por qué importa a los desarrolladores

El tokenizador decide en cuántos tokens se convierte tu texto, lo que determina el coste, la velocidad y cuánto cabe en la ventana de contexto. Los tokenizadores entrenados sobre todo con inglés pueden dividir otros idiomas en muchos más tokens, lo que los hace más lentos y más caros. Los espacios, los números y el formato del código pueden tokenizarse de formas sorprendentes, lo que ayuda a explicar por qué a los modelos a veces les cuesta contar letras o hacer aritmética con dígitos.

En la práctica

Usa el tokenizador que corresponde a tu modelo cuando cuentes tokens. La biblioteca Transformers de Hugging Face carga el tokenizador correspondiente a cada modelo.

Términos relacionados

Token (LLM)
Un token (LLM) es la unidad básica de texto que un modelo de lenguaje lee y escribe, a menudo una palabra, parte de una palabra, un signo de puntuación o un byte. Los precios, la velocidad y los límites de contexto se cuentan en tokens.
Modelo de lenguaje grande
Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
Precio por token
El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
Ventana de contexto
Una ventana de contexto (context window) es la cantidad máxima de texto, contada en tokens, que un modelo de lenguaje puede tener en cuenta a la vez, e incluye el system prompt, la conversación, los documentos, los resultados de herramientas y la respuesta que escribe.
Embedding
Un embedding (vector de representación) es una lista de números (un vector) que representa un fragmento de texto, una imagen u otros datos, generada de forma que los elementos con significado parecido acaban con vectores cercanos entre sí.

Fuentes