Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Requisitos de GPU do Inkling: VRAM e GPU mais barata

Inkling tem 952,4 bi parâmetros, publicados em BF16. É um modelo de mistura de especialistas: 6 dos seus 256 especialistas trabalham em cada token, cerca de 18,1 bi parâmetros, então ele gera texto mais ou menos na velocidade de um modelo desse tamanho. Ainda assim, todos os especialistas precisam ficar na memória da GPU, por isso os números de memória abaixo são do modelo inteiro. É publicado sob apache-2.0, que permite uso comercial.

Parâmetros
952,4 bi
Menor consumo (INT4)
cerca de 553 GB
GPU mais barata por hora (FP16)
–
Tipo
Visão
  • Parâmetros 952,4 bi
  • Ativos por token 18,1 bi
  • Tipo Visão
  • Tarefa image-text-to-text
  • Licença apache-2.0
  • Downloads 1,3 mi
  • Curtidas 1,9 mil

Cálculo para Inkling

Precisão
Uso
Mais ajustes
Motor de inferência
Requisições simultâneas

Inkling precisa de cerca de 2.099 GB de memória de GPU

Inferência (vLLM), FP16 / BF16, contexto de 8K tokens, uma requisição por vez.

Para onde vai a memória

  • Pesos 1.905 GB
  • Cache KV 2,2 GB
  • Sobrecarga do runtime 192 GB
  • Total 2.099 GB

A contagem de GPUs deixa 10% de cada placa livre para picos. Reserve mais se espera prompts longos ou muitos usuários ao mesmo tempo.

Nenhuma oferta acompanhada comporta esta configuração em um nó. Tente uma precisão menor ou um contexto mais curto.

Nenhuma oferta acompanhada comporta esta configuração em um nó. Tente uma precisão menor ou um contexto mais curto.

Preços coletados em 16 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai e o Lium são globais).

Memória por precisão e uso

Com contexto de 8K tokens e uma requisição por vez. LoRA e o ajuste completo partem de pesos de 16 bits e o QLoRA de 4 bits, por isso as outras células ficam vazias.
PrecisãoInferênciaAjuste LoRAAjuste QLoRAAjuste completo
FP16 / BF162.099 GB2.441 GB–16.772 GB
INT81.103 GB–––
INT4553 GB–895 GB–

A GPU mais barata por precisão

Inferência com contexto de 8K e uma requisição por vez.

FP16 / BF16

cerca de 2.099 GB · 8K tokens

Os pesos como foram publicados. Sem perda, mas com o maior consumo.

Nenhuma oferta de um nó comporta

INT8

cerca de 1.103 GB · 8K tokens

Pesos com metade do tamanho. Em chat e RAG quase não se nota diferença.

7 × MI300X 192GB

RunPod (abre em nova aba) · 8x MI300X

vendida com 8 GPUs; você precisa de 7
Por GPU / h
US$ 2,39
GPUs necessárias
7
Total / h
cerca de US$ 19,12
por mês, 24/7, aprox.
US$ 13.958

INT4

cerca de 553 GB · 8K tokens

Pesos com um quarto do tamanho. As pequenas perdas aparecem primeiro em matemática e código.

4 × MI300X 192GB

RunPod (abre em nova aba) · 4x MI300X

Por GPU / h
US$ 2,39
GPUs necessárias
4
Total / h
cerca de US$ 9,56
por mês, 24/7, aprox.
US$ 6.979

Inferência ou ajuste fino

  • Inferência (FP16)

    1×

    da memória da inferência

    2.099 GB

    mais de um nó de 8 GPUs

  • Ajuste LoRA

    1,2×

    da memória da inferência

    2.441 GB

    mais de um nó de 8 GPUs

  • Ajuste QLoRA

    0,4×

    da memória da inferência

    895 GB

    6 × MI300X 192GB · cerca de US$ 19,12

  • Ajuste completo

    8×

    da memória da inferência

    16.772 GB

    mais de um nó de 8 GPUs

Para servi-lo em FP16 basta mais de um nó de 8 GPUs. LoRA precisa de mais de um nó de 8 GPUs, QLoRA de 6 × MI300X 192GB (RunPod) e um ajuste completo de mais de um nó de 8 GPUs. O treino mantém na memória as ativações e o estado do otimizador além dos pesos, por isso costuma pedir mais GPUs do que servir o mesmo modelo.

Roda em um Mac ou em uma única RTX 4090?

RTX 4090 (24 GB)

Sozinha, não. Mesmo em INT4 ele precisa de cerca de 553 GB, mais que os 24 GB da placa. Duas ou mais placas, ou uma GPU de data center maior, resolvem.

Mac com Apple silicon

Não de forma realista. Mesmo em INT4 ele precisa de cerca de 553 GB, mais do que o maior Mac consegue dar à GPU.

Modelos parecidos

Modelos abertos de tamanho parecido.

Calcular outro modelo

Inkling: perguntas frequentes

Quanta VRAM o Inkling precisa?

Cerca de 2.099 GB em FP16, 1.103 GB em INT8 e 553 GB em INT4, com contexto de 8K e uma requisição por vez. Contextos maiores e mais requisições em paralelo somam cache KV.

Qual é a GPU mais barata para rodar o Inkling?

7 × MI300X 192GB (cerca de US$ 2,39 por GPU / hora; vendida com 8 GPUs; você precisa de 7) na RunPod, por cerca de US$ 19,12 a hora para inferência em INT8 com contexto de 8K. Preços coletados em 16 de nov. de 2026; mudam com frequência.

Dá para fazer ajuste fino do Inkling em uma única GPU?

Não em uma GPU só. Mesmo o QLoRA precisa de cerca de 895 GB, mais do que cabe numa GPU de 80 GB. LoRA precisa de cerca de 2.441 GB e um ajuste completo de cerca de 16.772 GB.

Como esses números são calculados?

Os pesos são os parâmetros vezes os bytes por parâmetro (2 em FP16, 1 em INT8, 0,5 em INT4). O cache KV vem das camadas, cabeças KV, tamanho da cabeça e tamanho do contexto do modelo. Somamos cerca de 10% mais 1 GB para o runtime e enchemos cada GPU até 90%. Os preços são de tabela sob demanda em regiões dos EUA, coletados da página pública de cada provedor.

O Inkling roda em uma GPU de consumo como a RTX 4090?

Sozinha, não. Mesmo em INT4 ele precisa de cerca de 553 GB, mais que os 24 GB da placa. Duas ou mais placas, ou uma GPU de data center maior, resolvem.

O Inkling cabe em uma única H100 80GB?

Não. Mesmo em INT4 ele precisa de cerca de 553 GB, então são necessárias várias GPUs.

Quantas GPUs preciso para o Inkling?

Em FP16 com contexto de 8K: 30 × 80 GB, 49 × 48 GB ou 98 × 24 GB. Em INT4 os pesos ocupam cerca de um quarto da memória.

Quanta VRAM o Inkling precisa em INT8?

Cerca de 1.103 GB: 1.000 GB para os pesos, 2,2 GB para um cache KV de 8K e 101 GB de sobrecarga do runtime.

Quanto custa rodar o Inkling 24/7 por um mês?

Cerca de US$ 13.958 na configuração mais barata que encontramos (7 × MI300X 192GB (cerca de US$ 2,39 por GPU / hora; vendida com 8 GPUs; você precisa de 7), US$ 19,12 a hora por 730 horas). O mais barato na AWS, Google Cloud ou Azure fica em cerca de US$ 83.171 por mês.

FP16, INT8 ou INT4: qual usar?

FP16 mantém a qualidade total e usa mais memória (cerca de 2.099 GB aqui). INT8 corta os pesos pela metade com pouca perda na maioria dos usos de chat. INT4 (AWQ, GPTQ ou GGUF Q4) reduz para um quarto, cerca de 553 GB no total, com uma pequena queda de qualidade que aparece mais em matemática e código.

O Inkling roda em um Mac?

Não de forma realista. Mesmo em INT4 ele precisa de cerca de 553 GB, mais do que o maior Mac consegue dar à GPU.

vLLM ou llama.cpp?

O vLLM foi feito para atender muitas requisições ao mesmo tempo em GPUs NVIDIA e AMD e reserva quase toda a memória da GPU para o cache KV. O llama.cpp roda arquivos GGUF em quase tudo, inclusive Macs e CPUs, e serve bem a uma pessoa ou a uma equipe pequena. Na mesma precisão, a memória necessária é parecida.

Preços coletados em 16 de nov. de 2026. Todos os custos são aproximados: sob demanda, em dólares, principalmente regiões dos EUA (marketplaces como o Vast.ai e o Lium são globais).

Como calculamos

  • Pesos. Parâmetros vezes bytes por parâmetro: 2 em FP16, 1 em INT8, 0,5 em INT4, mais cerca de 5% para as escalas de quantização em INT8 e INT4.
  • Cache KV. 2 × camadas × cabeças KV × tamanho da cabeça × contexto × requisições × 2 bytes, a partir do config.json do modelo. Quando falta um dado, estimamos e avisamos.
  • Sobrecarga. Cerca de 10% mais 1 GB para o runtime, em linha com o que o vLLM reserva.
  • Ajuste fino. LoRA mantém pesos em 16 bits e adiciona um adaptador pequeno, seu otimizador e as ativações. QLoRA faz o mesmo sobre pesos de 4 bits. Um ajuste completo precisa de cerca de 16 bytes por parâmetro com Adam em precisão mista (pesos, gradientes e estados do otimizador), mais as ativações.
  • GPUs. Enchemos cada GPU até 90% da memória e paramos em 8 por nó. Os custos são preços de tabela sob demanda em regiões dos EUA; nos marketplaces mostramos a oferta mediana.