Was ist BitDecoding-FP4?
BitDecoding-FP4 ist der Code zum Paper „BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design“ (arXiv 2611.09825, veröffentlicht am 6. November 2026, von Dayou Du, Woon Yee Ng, Guangming Sheng, Nick Lau, Jianyi Cheng und Luo Mai). Es verkleinert den KV-Cache, den Speicher pro Anfrage, der mit der Kontextlänge wächst, auf die 4-Bit-Formate NVFP4 oder MXFP4 und rechnet die Attention auf den FP4-Tensor-Cores der GPU, ohne vorher auf 16 Bit zurückzuwandeln.
Das Paper argumentiert, dass einfaches FP4-Runden zu viel Genauigkeit kostet, während die genauen 4-Bit-Verfahren Codebuch-Lookups nutzen, die das Dekodieren bremsen. Seine Lösungen sind eine Aufteilung der Query in zwei FP4-Teile (laut den Autoren sinkt der Fehler der Query-Logits von 60% auf 1%), ein Skalierungsschritt, damit Attention-Wahrscheinlichkeiten bei langem Kontext nicht auf null gerundet werden, sowie Glättung plus Hadamard-Rotation für Ausreißer bei den Keys. Es wird als Out-of-Tree-Attention-Backend CUSTOM in vLLM eingebunden.
Das ist Forschungscode, kein Produkt. Das Repository wurde am 3. November 2026 angelegt, hat keine getaggten Releases und bringt Benchmark- und Evaluationsskripte mit, die die Tabellen des Papers nachstellen. Es braucht eine NVIDIA B200 oder B300 (SM100 oder SM103), CUDA 13.0 oder neuer mit Treiber 580+ und Python 3.12.
Lohnt sich BitDecoding-FP4?
BitDecoding-FP4 lohnt die Lektüre, wenn Serving mit langem Kontext auf Blackwell dein Job ist, und lohnt das Ausprobieren nur, wenn du eine B200 oder B300 übrig hast. Es zielt auf den Teil des Servings, der mit jedem Kontext-Token wächst: den KV-Cache. Ihn in 4 statt 16 Bit zu speichern, senkt seinen Speicherbedarf vor den Skalierungsfaktoren auf etwa ein Viertel, sodass sich mehr Anfragen eine GPU teilen können.
Alle Spitzenwerte stammen von den Autoren. Ihr README nennt einen Durchsatz von 3.00x gegenüber BF16-KV für Qwen3-4B-Thinking-2507 und 2.62x für Qwen3-30B-A3B-Thinking-2507 auf einer B300, bei Prompts mit 64K Tokens auf einer GPU und 128K auf zwei, über 1 bis 64 gleichzeitige Anfragen; das Abstract nennt eine Spanne von 2.4 bis 3.0x. Bei der Genauigkeit bleibt der Mittelwert über sieben Benchmarks (LongBench-Pro, MRCR, RULER-NIAH, AIME 2024 und 2025, LiveCodeBench v6, GPQA-Diamond) mit NVFP4 innerhalb von 0.5 Punkten von BF16-KV und mit MXFP4 innerhalb von 1 Punkt. Größere Modelle mit FP8-Gewichten, GLM-4.7 und Hy4-preview, erscheinen in einer Tabelle. Eine unabhängige Reproduktion haben wir nicht gefunden; das Paper erschien am 6. November 2026.
Der Haken: Die Hardware-Hürde ist eng. Unterstützt werden nur SM100 und SM103, Hopper, Consumer-RTX-Karten und AMD bleiben also außen vor, und der End-to-End-Benchmark braucht für 128K eine zweite GPU der B-Serie. Die Installation pinnt torch 2.11.0 und baut eine eigene vLLM-Kopie aus einem Submodul, ein einfaches pip-Upgrade in ein bestehendes vLLM-Deployment ist es also nicht. Ein Kernel-Helfer steht unter NVIDIAs CUTLASS-DSL-Lizenz statt MIT, was eine Rechtsabteilung lesen will. Die Glättung der Keys muss pro Modell kalibriert werden, und das Repository hat 52 Sterne und fünf Forks, eine Community zum Fragen gibt es also noch nicht.
Unser Fazit: Für ein Inferenzteam ist das ein Paper für die Person, die eure KV-Cache-Einstellungen abstimmt, mit den Benchmark-Skripten als Wochenendtest am eigenen Modell; FP4-KV in Produktion sollte warten, bis vLLM, SGLang oder TensorRT-LLM diese Ideen übernehmen.
Wo es sich lohnt
Ein Inferenz-Engineer bei einer GPU-Cloud, der Qwen3 auf B300-Knoten betreibt
Herausfinden, ob FP4-KV-Cache mehr Nutzer mit langem Kontext pro GPU erlaubt
Lass bench_e2e_throughput.py mit BF16, FP8 und NVFP4 bei 1 bis 64 gleichzeitigen Anfragen und deinem eigenen Modell laufen und danach die Genauigkeitstests, bevor du dem Gewinn traust. Der Code ist kostenlos; die Kosten sind eine B300 für ein paar Tage.
Eine Universitätsgruppe, die an KV-Cache-Quantisierung arbeitet
Ein neues Verfahren mit einer starken FP4-Baseline vergleichen
Nutze das Evaluations-Harness mit sieben Benchmarks bei 128K Kontext und den Kernel-Benchmark gegen TRT-LLM NVFP4 und zitiere arXiv 2611.09825.
Bevor du dich festlegst
- Einrichtung
- Mit Submodulen klonen und tools/bootstrap_env.sh ausführen; das braucht uv und installiert torch 2.11.0 (Wheels für CUDA 13.0), ein eigenes vLLM und das Kernel-Paket nach _local/envs/bd_fp4.
- Integrationen
- Registriert sich über einen vLLM-Plug-in-Einstiegspunkt als CUSTOM-Attention-Backend; gebaut auf NVIDIA CUTLASS DSL, quack-kernels und von FlashAttention abgeleiteten Helfern.
- Daten und Datenschutz
- Läuft auf deiner eigenen GPU; nichts wird gehostet. Evaluationsdaten und Modelle kommen von ihren üblichen Hubs.
- Kosten im großen Maßstab
- Keine gehostete oder kostenpflichtige Ausgabe. Die Kosten sind Blackwell-GPU-Zeit: eine B200 oder B300 für die 64K-Benchmarks, zwei für 128K.
- Grenzen
- Nur SM100/SM103; getestet mit Qwen3-4B, Qwen3-30B-A3B, GLM-4.7 und Hy4-preview; Key-Glättung braucht Kalibrierung pro Modell; keine Releases, fünf Forks und zum Zeitpunkt des Schreibens keine offenen Issues.
Was gut ist
- Paper und Code gemeinsam veröffentlicht, MIT für den eigenen Code
- Skripte stellen die Kernel-, Durchsatz- und Genauigkeitstabellen des Papers nach
- Deckt Dense- und MoE-Modelle mit GQA- und MLA-Attention ab
- Lässt sich als CUSTOM-Attention-Backend in vLLM einbinden
Was nicht
- Nur B200 oder B300 (SM100/SM103)
- Alle Werte zu Tempo und Genauigkeit stammen von den Autoren selbst
- Gepinntes torch und eigener vLLM-Build, kein getaggtes Release
- Ein Helfer unter NVIDIAs CUTLASS-DSL-Lizenz, nicht MIT
Am besten für
Inferenzforscher und Serving-Engineers mit Blackwell-GPUs, die 4-Bit-KV-Cache bei Workloads mit langem Kontext testen wollen.
Alternativen zu BitDecoding-FP4
BitDecoding-FP4: häufige Fragen
- Lohnt sich BitDecoding-FP4?
- Ein sorgfältiges Paper mit lauffähigem Code, aber bis jemand außerhalb des Labors es mit mehr als zwei Qwen-Modellen nachstellt, ist der 3x-Durchsatz eine Spur zum Testen, keine Einstellung für die Produktion. Wir bewerten es mit 3.4 von 5.
- Was kostet BitDecoding-FP4?
- Kostenlos unter der MIT-Lizenz für den eigenen Code; einige Kernel-Helfer stehen unter BSD 3-Clause und NVIDIAs CUTLASS-DSL-Lizenz. Du brauchst eine B200- oder B300-GPU.
- Welche Nachteile hat BitDecoding-FP4?
- Nur B200 oder B300 (SM100/SM103); Alle Werte zu Tempo und Genauigkeit stammen von den Autoren selbst; Gepinntes torch und eigener vLLM-Build, kein getaggtes Release; Ein Helfer unter NVIDIAs CUTLASS-DSL-Lizenz, nicht MIT.
- Für wen eignet sich BitDecoding-FP4?
- Inferenzforscher und Serving-Engineers mit Blackwell-GPUs, die 4-Bit-KV-Cache bei Workloads mit langem Kontext testen wollen.
- Was kostet BitDecoding-FP4 für ein Team oder im Produktivbetrieb?
- Keine gehostete oder kostenpflichtige Ausgabe. Die Kosten sind Blackwell-GPU-Zeit: eine B200 oder B300 für die 64K-Benchmarks, zwei für 128K.
- Ist BitDecoding-FP4 sicher für Firmendaten?
- Läuft auf deiner eigenen GPU; nichts wird gehostet. Evaluationsdaten und Modelle kommen von ihren üblichen Hubs.
- Was sind die besten Alternativen zu BitDecoding-FP4?
- Die nächsten Alternativen, die wir getestet haben, sind vLLM, SGLang, TensorRT-LLM und TileKernels.
Antworten geprüft am 18. Nov. 2026.