Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Requisitos de GPU de Inkling: VRAM y GPU más barata

Inkling tiene 952,4 mil M parámetros, publicados en BF16. Es un modelo de mezcla de expertos: 6 de sus 256 expertos trabajan en cada token, unos 18,1 mil M parámetros, así que genera más o menos a la velocidad de un modelo de ese tamaño. Aun así, todos los expertos tienen que estar en la memoria de la GPU, por eso las cifras de memoria de abajo son las del modelo completo. Se publica con licencia apache-2.0, que permite el uso comercial.

Parámetros
952,4 mil M
Mínimo de memoria (INT4)
unos 553 GB
GPU más barata por hora (FP16)
–
Tipo
Visión
  • Parámetros 952,4 mil M
  • Activos por token 18,1 mil M
  • Tipo Visión
  • Tarea image-text-to-text
  • Licencia apache-2.0
  • Descargas 1,3 M
  • Me gusta 1,9 mil

Cálculo para Inkling

Precisión
Uso
Más ajustes
Motor de inferencia
Peticiones simultáneas

Inkling necesita unos 2099 GB de memoria de GPU

Inferencia (vLLM), FP16 / BF16, contexto de 8K tokens, una petición a la vez.

En qué se va la memoria

  • Pesos 1905 GB
  • Caché KV 2,2 GB
  • Sobrecarga del motor 192 GB
  • Total 2099 GB

El número de GPU deja libre un 10 % de cada tarjeta para picos. Prevé más si esperas prompts largos o muchos usuarios a la vez.

Ninguna oferta registrada cabe en un nodo con esta configuración. Prueba una precisión menor o un contexto más corto.

Ninguna oferta registrada cabe en un nodo con esta configuración. Prueba una precisión menor o un contexto más corto.

Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).

Memoria por precisión y uso

Con un contexto de 8K tokens y una petición a la vez. LoRA y el ajuste completo parten de pesos de 16 bits y QLoRA de 4 bits, así que las demás celdas quedan vacías.
PrecisiónInferenciaAjuste LoRAAjuste QLoRAAjuste completo
FP16 / BF162099 GB2441 GB–16.772 GB
INT81103 GB–––
INT4553 GB–895 GB–

La GPU más barata por precisión

Inferencia con contexto de 8K y una petición a la vez.

FP16 / BF16

unos 2099 GB · 8K tokens

Los pesos tal como se publican. Sin pérdidas, pero ocupa más.

Ninguna oferta de un nodo cabe

INT8

unos 1103 GB · 8K tokens

Pesos a la mitad de tamaño. En chat y RAG apenas se nota.

7 × MI300X 192GB

RunPod (se abre en una pestaña nueva) · 8x MI300X

se vende con 8 GPU; necesitas 7
Por GPU / h
2,39 US$
GPU necesarias
7
Total / h
unos 19,12 US$
al mes, 24/7, aprox.
13.958 US$

INT4

unos 553 GB · 8K tokens

Pesos a una cuarta parte. Las pequeñas pérdidas aparecen antes en matemáticas y código.

4 × MI300X 192GB

RunPod (se abre en una pestaña nueva) · 4x MI300X

Por GPU / h
2,39 US$
GPU necesarias
4
Total / h
unos 9,56 US$
al mes, 24/7, aprox.
6979 US$

Inferencia frente a ajuste fino

  • Inferencia (FP16)

    1×

    de la memoria que pide la inferencia

    2099 GB

    más de un nodo de 8 GPU

  • Ajuste LoRA

    1,2×

    de la memoria que pide la inferencia

    2441 GB

    más de un nodo de 8 GPU

  • Ajuste QLoRA

    0,4×

    de la memoria que pide la inferencia

    895 GB

    6 × MI300X 192GB · unos 19,12 US$

  • Ajuste completo

    8×

    de la memoria que pide la inferencia

    16.772 GB

    más de un nodo de 8 GPU

Para servirlo en FP16 basta con más de un nodo de 8 GPU. LoRA necesita más de un nodo de 8 GPU, QLoRA 6 × MI300X 192GB (RunPod) y un ajuste completo más de un nodo de 8 GPU. Entrenar guarda en memoria las activaciones y el estado del optimizador además de los pesos; por eso suele pedir más GPU que servir el mismo modelo.

¿Funciona en un Mac o en una sola RTX 4090?

RTX 4090 (24 GB)

No por sí sola. Incluso en INT4 necesita unos 553 GB, más que los 24 GB de la tarjeta. Bastan dos o más tarjetas o una GPU de centro de datos más grande.

Mac con Apple silicon

No de forma realista. Incluso en INT4 necesita unos 553 GB, más de lo que el Mac más grande puede dar a su GPU.

Modelos parecidos

Modelos abiertos de tamaño parecido.

Calcular otro modelo

Inkling: preguntas frecuentes

¿Cuánta VRAM necesita Inkling?

Unos 2099 GB en FP16, 1103 GB en INT8 y 553 GB en INT4, con contexto de 8K y una petición a la vez. Los contextos más largos y más peticiones en paralelo añaden caché KV.

¿Cuál es la GPU más barata para ejecutar Inkling?

7 × MI300X 192GB (unos 2,39 US$ por GPU / hora; se vende con 8 GPU; necesitas 7) en RunPod, por unos 19,12 US$ la hora para inferencia en INT8 con contexto de 8K. Precios recogidos el 16 nov 2026; cambian a menudo.

¿Puedo hacer ajuste fino de Inkling en una sola GPU?

No en una sola GPU. Incluso QLoRA necesita unos 895 GB, más de lo que cabe en una GPU de 80 GB. LoRA necesita unos 2441 GB y un ajuste completo unos 16.772 GB.

¿Cómo se calculan estas cifras?

Los pesos son los parámetros por los bytes por parámetro (2 en FP16, 1 en INT8, 0,5 en INT4). La caché KV sale de las capas, las cabezas KV, el tamaño de cabeza y la longitud de contexto del modelo. Añadimos un 10 % más 1 GB para el motor y llenamos cada GPU hasta el 90 %. Los precios son de lista bajo demanda en regiones de EE. UU., tomados de la página pública de cada proveedor.

¿Funciona Inkling en una GPU de consumo como la RTX 4090?

No por sí sola. Incluso en INT4 necesita unos 553 GB, más que los 24 GB de la tarjeta. Bastan dos o más tarjetas o una GPU de centro de datos más grande.

¿Cabe Inkling en una sola H100 de 80 GB?

No. Incluso en INT4 necesita unos 553 GB, así que hacen falta varias GPU.

¿Cuántas GPU necesito para Inkling?

En FP16 con contexto de 8K: 30 × 80 GB, 49 × 48 GB o 98 × 24 GB. En INT4 los pesos ocupan más o menos la cuarta parte.

¿Cuánta VRAM necesita Inkling en INT8?

Unos 1103 GB: 1000 GB para los pesos, 2,2 GB para una caché KV de 8K y 101 GB de sobrecarga del motor.

¿Cuánto cuesta tener Inkling funcionando 24/7 durante un mes?

Unos 13.958 US$ con la configuración más barata que encontramos (7 × MI300X 192GB (unos 2,39 US$ por GPU / hora; se vende con 8 GPU; necesitas 7), 19,12 US$ la hora durante 730 horas). Lo más barato en AWS, Google Cloud o Azure ronda los 83.171 US$ al mes.

FP16, INT8 o INT4: ¿cuál uso?

FP16 conserva toda la calidad y necesita más memoria (unos 2099 GB aquí). INT8 reduce los pesos a la mitad con poca pérdida para la mayoría de usos de chat. INT4 (AWQ, GPTQ o GGUF Q4) los deja en una cuarta parte, unos 553 GB en total, con una pequeña pérdida de calidad que se nota sobre todo en matemáticas y código.

¿Funciona Inkling en un Mac?

No de forma realista. Incluso en INT4 necesita unos 553 GB, más de lo que el Mac más grande puede dar a su GPU.

¿vLLM o llama.cpp?

vLLM está pensado para servir muchas peticiones a la vez en GPU de NVIDIA y AMD y reserva casi toda la memoria de la GPU para la caché KV. llama.cpp ejecuta archivos GGUF casi en cualquier equipo, incluidos Mac y CPU, y va bien para una persona o un equipo pequeño. Con la misma precisión, la memoria necesaria es parecida.

Precios recogidos el 16 nov 2026. Todos los costes son aproximados: bajo demanda, en dólares, sobre todo regiones de EE. UU. (los mercados como Vast.ai y Lium son mundiales).

Cómo calculamos

  • Pesos. Parámetros por bytes por parámetro: 2 en FP16, 1 en INT8, 0,5 en INT4, más un 5 % aproximado para las escalas de cuantización en INT8 e INT4.
  • Caché KV. 2 × capas × cabezas KV × tamaño de cabeza × contexto × peticiones × 2 bytes, según el config.json del modelo. Si falta un dato, lo estimamos y lo indicamos.
  • Sobrecarga. Alrededor de un 10 % más 1 GB para el motor, en línea con lo que reserva vLLM.
  • Ajuste fino. LoRA mantiene los pesos en 16 bits y añade un adaptador pequeño, su optimizador y las activaciones. QLoRA hace lo mismo sobre pesos de 4 bits. Un ajuste completo necesita unos 16 bytes por parámetro con Adam en precisión mixta (pesos, gradientes y estados del optimizador), más las activaciones.
  • GPU. Llenamos cada GPU hasta el 90 % de su memoria y paramos en 8 por nodo. Los costes son precios de lista bajo demanda en regiones de EE. UU.; en las nubes tipo mercado mostramos la oferta mediana.