ONNX
ONNX (Open Neural Network Exchange) ist ein offenes Dateiformat für Machine-Learning-Modelle. Es beschreibt ein Modell als Graph aus Standardoperatoren, damit es in einem Framework trainiert und in einem anderen ausgeführt werden kann.
Auch: Open Neural Network Exchange, .onnx
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Modelle werden meist in einem Framework wie PyTorch trainiert, aber der Ort, an dem du sie ausführen willst, kann ein Smartphone sein, ein Browser, ein Server ohne Python oder ein Chip mit eigener Laufzeitumgebung. ONNX ist ein gemeinsames Format zwischen beiden Seiten. Du exportierst das Modell einmal in eine .onnx-Datei, und jede Laufzeit, die ONNX unterstützt, kann sie laden.
So funktioniert es
Eine ONNX-Datei enthält einen Rechengraphen: Knoten für Operationen wie Matrixmultiplikation oder Softmax, die Verbindungen zwischen ihnen und die Modellgewichte. Die Operatoren stammen aus einem versionierten Standardsatz namens Opset, sodass eine Laufzeit genau weiß, was jeder Knoten bedeutet. ONNX Runtime ist die meistgenutzte Engine und kann Teile des Graphen an GPUs, NPUs und andere Beschleuniger übergeben.
Wo es hinpasst
ONNX ist verbreitet für kleinere Modelle, die auf vielen Geräten schnell laufen müssen: Embedding-Modelle, Reranker, Bild- und Sprachmodelle sowie Modelle im Browser. Seltener ist es beim Betrieb der größten LLMs, wo spezialisierte Engines wie vLLM oder auf GGUF basierende Runner die Gewichte meist direkt laden.
Unterschied zu Safetensors
Safetensors speichert nur die Gewichte; du brauchst weiterhin Code, der das Modell definiert. ONNX speichert die Gewichte und den Graphen der Operationen, die Datei beschreibt also das ganze Modell. Das macht es portabel, bedeutet aber, dass der Export bei ungewöhnlichen Schichten scheitern kann und Modelle, die zur Laufzeit ihre Form ändern, sich schwer exportieren lassen.
Grenzen
Nicht jede Laufzeit unterstützt jeden Operator oder jede Opset-Version, und quantisierte ONNX-Modelle können sich auf verschiedener Hardware unterschiedlich verhalten. Teste das exportierte Modell gegen das Original, bevor du es auslieferst.
Verwandte Begriffe
- Modellgewichte
- Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
- Safetensors
- Safetensors ist ein Dateiformat von Hugging Face zum Speichern von Modellgewichten. Anders als bei Python-Pickle-Dateien kann beim Laden kein versteckter Code ausgeführt werden, und es unterstützt schnelles, speichergemapptes Laden einzelner Tensoren.
- GGUF
- GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
- NPU
- Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.