O que é BitDecoding-FP4?
BitDecoding-FP4 é o código do artigo “BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design” (arXiv 2611.09825, publicado em 6 de novembro de 2026, de Dayou Du, Woon Yee Ng, Guangming Sheng, Nick Lau, Jianyi Cheng e Luo Mai). Ele reduz o cache KV, a memória de cada requisição que cresce com o tamanho do contexto, aos formatos de 4 bits NVFP4 ou MXFP4 e roda a atenção nos Tensor Cores FP4 da GPU sem voltar antes para 16 bits.
O argumento do artigo é que o arredondamento FP4 simples perde precisão demais, enquanto os métodos precisos de 4 bits usam consultas a dicionários de códigos que deixam a decodificação mais lenta. As soluções são dividir a consulta em duas partes FP4 (segundo os autores, o erro dos logits cai de 60% para 1%), uma etapa de escala para que as probabilidades de atenção em contextos longos não sejam arredondadas para zero, e suavização mais rotação de Hadamard para chaves atípicas. Ele se conecta ao vLLM como backend de atenção CUSTOM fora da árvore.
É código de pesquisa, não um produto. O repositório foi criado em 3 de novembro de 2026, não tem versões marcadas e traz scripts de benchmark e avaliação que reproduzem as tabelas do artigo. Exige uma NVIDIA B200 ou B300 (SM100 ou SM103), CUDA 13.0 ou mais recente com driver 580+ e Python 3.12.
BitDecoding-FP4 vale a pena?
BitDecoding-FP4 vale a leitura se servir contextos longos em Blackwell é o seu trabalho, e vale rodar só se você tiver uma B200 ou B300 sobrando. Ele mira a parte do serviço que cresce a cada token de contexto: o cache KV. Guardá-lo em 4 bits em vez de 16 reduz sua memória a cerca de um quarto antes dos fatores de escala, o que deixa mais requisições dividirem uma GPU.
Todos os números de destaque vêm dos autores. O README informa vazão de 3.00x a do cache KV em BF16 para Qwen3-4B-Thinking-2507 e de 2.62x para Qwen3-30B-A3B-Thinking-2507 numa B300, com prompts de 64K tokens em uma GPU e de 128K em duas, de 1 a 64 requisições simultâneas; o resumo dá a faixa de 2.4 a 3.0x. Em precisão, a média de sete benchmarks (LongBench-Pro, MRCR, RULER-NIAH, AIME 2024 e 2025, LiveCodeBench v6, GPQA-Diamond) fica a menos de 0.5 ponto do cache KV em BF16 com NVFP4, e a menos de 1 ponto com MXFP4. Modelos maiores com pesos FP8, GLM-4.7 e Hy4-preview, aparecem em uma tabela. Não encontramos reprodução independente; o artigo saiu em 6 de novembro de 2026.
O porém: a exigência de hardware é estreita. Só há suporte a SM100 e SM103, então Hopper, placas RTX de consumo e AMD ficam de fora, e o benchmark de ponta a ponta precisa de uma segunda GPU da série B para 128K. A instalação fixa o torch 2.11.0 e compila uma cópia própria do vLLM a partir de um submódulo, então não entra num deploy de vLLM existente com uma simples atualização via pip. Um helper de kernel está sob a licença CUTLASS DSL da NVIDIA, não MIT, algo que o jurídico vai querer ler. A suavização das chaves precisa ser calibrada para cada modelo, e o repositório tem 52 estrelas e cinco forks, então ainda não há comunidade a quem perguntar.
Nossa opinião: para uma equipe de inferência, é um artigo para entregar a quem ajusta o cache KV, com os scripts de benchmark como teste de fim de semana no seu próprio modelo; cache KV em FP4 em produção deve esperar até que vLLM, SGLang ou TensorRT-LLM incorporem essas ideias.
Onde ele se destaca
Um engenheiro de inferência numa nuvem de GPU que serve Qwen3 em nós B300
Descobrir se o cache KV em FP4 permite atender mais usuários de contexto longo por GPU
Rode bench_e2e_throughput.py comparando BF16, FP8 e NVFP4 com 1 a 64 requisições simultâneas e o seu próprio modelo, depois rode a bateria de precisão antes de confiar no ganho. O código é gratuito; o custo é uma B300 por alguns dias.
Um grupo universitário que pesquisa quantização de cache KV
Comparar um método novo com uma base FP4 forte
Use o harness de avaliação, que cobre sete benchmarks com 128K de contexto, e o benchmark de kernel contra o TRT-LLM NVFP4, citando arXiv 2611.09825.
Antes de decidir
- Configuração
- Clone com submódulos e rode tools/bootstrap_env.sh, que exige uv e instala torch 2.11.0 (wheels para CUDA 13.0), um vLLM próprio e o pacote de kernels em _local/envs/bd_fp4.
- Integrações
- Registra-se como backend de atenção CUSTOM do vLLM por um ponto de entrada de plug-in; construído sobre NVIDIA CUTLASS DSL, quack-kernels e helpers derivados do FlashAttention.
- Dados e privacidade
- Roda na sua própria GPU; nada é hospedado. Os conjuntos de avaliação e os modelos são baixados dos hubs de sempre.
- Custo em escala
- Não há edição hospedada nem paga. O custo é tempo de GPU Blackwell: uma B200 ou B300 para os benchmarks de 64K, duas para 128K.
- Limites
- Só SM100/SM103; testado com Qwen3-4B, Qwen3-30B-A3B, GLM-4.7 e Hy4-preview; a suavização das chaves exige calibração por modelo; sem versões, cinco forks e nenhuma issue aberta no momento da redação.
O que é bom
- Artigo e código lançados juntos, MIT para o código original
- Scripts reproduzem as tabelas de kernel, vazão e precisão do artigo
- Cobre modelos densos e MoE, com atenção GQA e MLA
- Conecta-se ao vLLM como backend de atenção CUSTOM
O que não é
- Só B200 ou B300 (SM100/SM103)
- Todos os números de velocidade e precisão são dos próprios autores
- torch fixado e build próprio do vLLM, sem versão marcada
- Um helper sob a licença CUTLASS DSL da NVIDIA, não MIT
Ideal para
Pesquisadores de inferência e engenheiros de serviço com GPUs Blackwell que querem testar cache KV de 4 bits em cargas de contexto longo.
Alternativas ao BitDecoding-FP4
BitDecoding-FP4: perguntas frequentes
- BitDecoding-FP4 vale a pena?
- Um artigo cuidadoso com código executável por trás, mas até alguém fora do laboratório reproduzi-lo em mais de dois modelos Qwen, trate o ganho de 3x como uma pista para testar, não uma configuração para produção. Damos nota 3.4 de 5.
- Quanto custa BitDecoding-FP4?
- Gratuito sob a licença MIT para o código original; alguns helpers de kernel ficam sob BSD 3-Clause e a licença CUTLASS DSL da NVIDIA. Você precisa de uma GPU B200 ou B300.
- Quais são as desvantagens de BitDecoding-FP4?
- Só B200 ou B300 (SM100/SM103); todos os números de velocidade e precisão são dos próprios autores; torch fixado e build próprio do vLLM, sem versão marcada; um helper sob a licença CUTLASS DSL da NVIDIA, não MIT.
- Para quem BitDecoding-FP4 é indicado?
- Pesquisadores de inferência e engenheiros de serviço com GPUs Blackwell que querem testar cache KV de 4 bits em cargas de contexto longo.
- Quanto custa BitDecoding-FP4 para uma equipe ou em produção?
- Não há edição hospedada nem paga. O custo é tempo de GPU Blackwell: uma B200 ou B300 para os benchmarks de 64K, duas para 128K.
- BitDecoding-FP4 é seguro para dados da empresa?
- Roda na sua própria GPU; nada é hospedado. Os conjuntos de avaliação e os modelos são baixados dos hubs de sempre.
- Quais são as melhores alternativas ao BitDecoding-FP4?
- As alternativas mais próximas que analisamos são vLLM, SGLang, TensorRT-LLM e TileKernels.
Respostas verificadas em 18 de nov. de 2026.