Was ist TileKernels?
TileKernels ist DeepSeeks Bibliothek von GPU-Kernels, geschrieben in TileLang, einer Python-basierten Sprache für leistungsstarken GPU-Code. Sie deckt die Operationen ab, auf die DeepSeeks neuere Modelle angewiesen sind: Top-k-Auswahl und Bewertung von Experten für das Mixture-of-Experts-Routing, FP8- und FP4-Umwandlung pro Token, pro Block und pro Kanal mit fusioniertem SwiGLU und Quantisierung, Gating-Kernels für Engram (DeepSeeks Speichermodul) mit Vorwärts- und Rückwärtsdurchlauf sowie Kernels für Manifold Hyper-Connections (mHC) einschließlich Sinkhorn-Normalisierung, dazu Kernels für RoPE und Zufallszahlen. Laut README arbeiten die meisten Kernels nahe an der Rechen- oder Speicherbandbreitengrenze der Hardware, und alle werden in DeepSeeks internem Training und in der internen Inferenz eingesetzt.
Sie wird aus PyPI als tile-kernels installiert und braucht Python 3.12, PyTorch 2.13 und TileLang 0.1.15 oder neuer. Bei Nvidia unterstützt sie nur SM90- und SM100-GPUs (die Generationen H100 und B200) mit CUDA 13.1 oder neuer. Version 2.0.0 brachte im September 2026 ein Huawei-Ascend-Backend für die Ascend-950-NPU mit CANN 9.2.0, das zur Laufzeit automatisch hinter derselben Python-API gewählt wird. Der Code steht unter MIT-Lizenz.
Lohnt sich TileKernels?
TileKernels zählt weniger als Abhängigkeit denn als Beleg. Engram und Manifold Hyper-Connections sind DeepSeeks eigene Architekturideen, und Redeep beschreibt dieses Repository als die erste öffentliche Umsetzung beider auf Kernel-Ebene; das DeepSeek-V4-Paper sagt, das Team habe TileLang für seine fusionierten Kernels gewählt, weil es schnelle Entwicklung und tiefe Optimierung in einer Codebasis verbindet. Eine Analyse von Redeep aus dem Juni 2026 zählte 44 Operatoren in fünf Modulen (14 für MoE-Routing, 15 für Quantisierung, 10 für mHC, 5 für Engram und 1 für Transposition); Kernels für RoPE und Zufallszahlen kamen seither hinzu.
Die Hardware-Hürde ist hoch. Bei Nvidia kommen nur SM90- und SM100-Chips in Frage, eine RTX 4090 (SM89) fällt also heraus, und ein offenes Issue meldet, dass Engrams Sinkhorn-Kernels auf Consumer-Blackwell (SM120) die 100 KB Shared Memory überschreiten. Das Ascend-Backend in Version 2.0.0 ist echte Unterstützung und kein TileLang-Versprechen; damit gehört die Bibliothek zu den wenigen offenen Kernel-Sammlungen, die dieselben Python-Aufrufe auf Nvidia- und Huawei-Hardware ausführen. Das README veröffentlicht keine Benchmark-Tabellen; die Aussage zur Leistung nahe am Limit stützt sich auf die mitgelieferten pytest-Benchmarks, die du selbst mit --run-benchmark startest.
Das Wartungsmodell ist der wichtigste Kompromiss. Der Hauptzweig hat sieben Commits: die erste Veröffentlichung am 23. April 2026, dann zwei Release-Drops, Version 2.0.0 am 30. September und 2.1.0 am 14. Oktober. Externe Beiträge warten: 16 Pull Requests sind offen, darunter Portierungen auf AMD ROCm und Moore Threads MUSA, während die einzigen gemergten Pull Requests eine Kommentarkorrektur vom Starttag und die beiden Release-Drops sind. Mit rund 2.100 Sternen kommt sie auf einen Bruchteil der etwa 9.000 von TileLang.
Für ein Team, das ein Mixture-of-Experts-Modell nach DeepSeek-Art mit FP8 auf H100- oder B200-Clustern trainiert, sind das getestete, produktiv genutzte Kernels, die Wochen eigener Arbeit sparen. Für alles andere, etwa ein normales dichtes Modell, ältere GPUs oder einen Serving-Stack wie vLLM mit eigenen Kernels, ist TileKernels vor allem Referenzcode zum Lesen.
Wo es sich lohnt
Ein Infrastruktur-Ingenieur in einem Labor, das ein MoE-Modell mit 200 Experten auf H100-Knoten vortrainiert
Langsames Top-k-Gating und FP8-Umwandlung in PyTorch durch fusionierte Kernels ersetzen
pip install tile-kernels, die Aufrufe für Gating und FP8-Umwandlung pro Block durch die Versionen der Bibliothek ersetzen und jede mit den mitgelieferten Tests gegen die PyTorch-Referenzimplementierungen in tile_kernels/torch prüfen. Kostenlos unter MIT; gespart werden Wochen an Entwicklungszeit, keine Lizenzgebühren.
Ein Research Engineer, der die DeepSeek-V4-Architektur nachbaut
Nachlesen, wie Engram-Gating und Manifold Hyper-Connections tatsächlich umgesetzt sind
Die Module engram und mhc zusammen mit ihrem PyTorch-Referenzcode studieren und dann den torch.autograd.Function-Wrapper für das Engram-Gate in einem kleinen Trainingslauf nutzen. Die Kernels brauchen eine SM90- oder SM100-GPU, eine gemietete H100 ist also der günstigste Weg, sie auszuführen.
Ein Plattform-Team bei einem chinesischen Cloud-Anbieter mit Nvidia- und Huawei-Beschleunigern
Einen einzigen Kernel-Codepfad für H100- und Ascend-950-Flotten pflegen
Seit Version 2.0.0 wählt die Bibliothek das CUDA- oder Ascend-Backend zur Laufzeit hinter denselben Python-Aufrufen, sodass eine Modell-Codebasis auf beiden läuft. Ascend braucht CANN 9.2.0 oder neuer.
Bevor du dich festlegst
- Einrichtung
- pip install tile-kernels oder pip install -e ".[dev]" aus einem Klon. Braucht Python 3.12+, PyTorch 2.13+, TileLang 0.1.15+ und entweder eine SM90/SM100-GPU mit CUDA 13.1+ oder eine Ascend-950-NPU mit CANN 9.2.0+. TK_TEST_LEVEL=0 python -m pytest -n 4 führt die Kerntests aus.
- Integrationen
- PyTorch-Tensoren rein und raus, mit PyTorch-Referenzimplementierungen für jeden Kernel und einem Autograd-Wrapper für das Engram-Gate. Baut auf TileLang auf; erscheint neben DeepSeeks DeepGEMM und FlashMLA, ohne sie zu ersetzen.
- Daten und Datenschutz
- Eine lokale Bibliothek ohne Netzwerkaufrufe oder Telemetrie laut README. Die MIT-Lizenz erlaubt kommerzielle Nutzung. Es sind keine Sicherheitshinweise veröffentlicht.
- Kosten im großen Maßstab
- Die Software ist kostenlos. Die eigentlichen Kosten sind die Hardware-Hürde: Nur Hopper- und Blackwell-Rechenzentrums-GPUs oder Ascend-950-NPUs führen sie aus.
- Grenzen
- Consumer-GPUs nicht unterstützt, mit einem offenen Issue zu den Shared-Memory-Grenzen von SM120; keine gemergte Unterstützung für AMD oder MUSA; Updates kommen als seltene Release-Drops; die Dokumentation ist ein kurzes README.
Was gut ist
- Produktions-Kernels, die DeepSeek intern nutzt
- Erste öffentliche Kernels für Engram und mHC
- Dieselbe Python-API auf Nvidia SM90/SM100 und Ascend 950
- MIT-Lizenz; per pip installierbar, mit pytest-Benchmarks
Was nicht
- Keine Unterstützung für Consumer-GPUs oder GPUs vor Hopper
- Code kommt als Release-Drop; Community-Portierungen bleiben ungemergt
- Keine veröffentlichten Benchmark-Tabellen
- Nur für DeepSeek-ähnliche Architekturen nützlich
Am besten für
ML-Infrastruktur-Ingenieure, die MoE-Modelle nach DeepSeek-Art mit FP8 auf H100-, B200- oder Ascend-950-Hardware trainieren oder ausliefern.
Alternativen zu TileKernels
TileKernels: häufige Fragen
- Lohnt sich TileKernels?
- TileKernels ist der bisher klarste Blick auf die Kernels hinter DeepSeeks Modellen und Produktionscode für alle, die dieselbe Architektur bauen, aber es ist ein Code-Drop von DeepSeek, keine Community-Bibliothek. Wir bewerten es mit 3.8 von 5.
- Was kostet TileKernels?
- Kostenlos und Open Source unter MIT-Lizenz.
- Welche Nachteile hat TileKernels?
- Keine Unterstützung für Consumer-GPUs oder GPUs vor Hopper; Code kommt als Release-Drop; Community-Portierungen bleiben ungemergt; Keine veröffentlichten Benchmark-Tabellen; Nur für DeepSeek-ähnliche Architekturen nützlich.
- Für wen eignet sich TileKernels?
- ML-Infrastruktur-Ingenieure, die MoE-Modelle nach DeepSeek-Art mit FP8 auf H100-, B200- oder Ascend-950-Hardware trainieren oder ausliefern.
- Was kostet TileKernels für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos. Die eigentlichen Kosten sind die Hardware-Hürde: Nur Hopper- und Blackwell-Rechenzentrums-GPUs oder Ascend-950-NPUs führen sie aus.
- Ist TileKernels sicher für Firmendaten?
- Eine lokale Bibliothek ohne Netzwerkaufrufe oder Telemetrie laut README. Die MIT-Lizenz erlaubt kommerzielle Nutzung. Es sind keine Sicherheitshinweise veröffentlicht.
- Was sind die besten Alternativen zu TileKernels?
- Die nächsten Alternativen, die wir getestet haben, sind SGLang, vLLM und TensorRT-LLM.
Antworten geprüft am 13. Nov. 2026.