Was ist Granite Guardian 4.1 8B?
Granite Guardian 4.1 8B ist das Modell von IBM Research zur Risikoerkennung, im April 2026 als Feintuning von Granite 4.1 8B erschienen. Du gibst ihm ein Gespräch, ein Kriterium in einfacher Sprache und ein Bewertungsschema, und es antwortet mit Ja oder Nein in score-Tags. Im Think-Modus schreibt es zuerst seine Begründung; im No-Think-Modus antwortet es sofort.
Es bringt eingebaute Kriterien in drei Gruppen mit: Schaden (allgemeiner Schaden, soziale Voreingenommenheit, Jailbreaking, Gewalt, Obszönität, sexuelle Inhalte und unethisches Verhalten), Retrieval-Prüfungen (Kontextrelevanz, Fundierung und Antwortrelevanz) und Agenten-Prüfungen (Halluzinationen bei Funktionsaufrufen). Mit Bring Your Own Criteria schreibst du neue Regeln, etwa Format- oder Längenvorgaben, die laut IBM getestet werden müssen.
Die Gewichte stehen unter Apache 2.0, ohne Zugangsbeschränkung. Es läuft auf Transformers, vLLM, SGLang und Docker Model Runner, und 11 Quantisierungen aus der Community funktionieren mit llama.cpp, Ollama und LM Studio. Trainiert und getestet wurde es nur auf Englisch. Frühere Versionen, darunter 3.3 8B und die Klassifikatoren für Hass, Beleidigung und Obszönität mit 38M und 125M, bleiben auf Hugging Face.
Was kostet Granite Guardian 4.1 8B?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| Weights | Free | Apache 2.0, ohne Zugangsbeschränkung |
| Self-hosted | Free | 8B in BF16 auf deiner eigenen GPU |
Kostenlose offene Gewichte unter Apache 2.0, ohne Zugangsbeschränkung auf Hugging Face; nur selbst gehostet, kein gehosteter Inferenzanbieter gelistet.
Lohnt sich Granite Guardian 4.1 8B?
Granite Guardians Argument ist Breite unter einer sauberen Lizenz. Die meisten Guard-Modelle hören bei schädlichen Inhalten auf; dieses prüft auch, ob eine Antwort im abgerufenen Text verankert ist und ob der Funktionsaufruf eines Agenten zu den verfügbaren Tools passt, und alles steht unter Apache 2.0 ohne Zugangsbeschränkung.
IBMs Zahlen für 4.1 zeigen, wohin die Arbeit ging. Die Erkennung bei Funktionsaufrufen auf FC Reward Bench stieg von 0.74 in Version 3.3 auf 0.79 im No-Think-Modus. Eigene Kriterien verbesserten sich am stärksten: Die balancierte Genauigkeit bei IFEval-Aufgaben mit mehreren Vorgaben stieg von 0.569 mit reinem Prompting auf 0.844. Die Fundierung auf LLM-AggreFact blieb im Think-Modus bei 0.76, wie bei 3.3. Die Sicherheit selbst bewegte sich kaum: IBM meldet einen No-Think-F1 von 0.79, etwa wie bei früheren Versionen, und schwache 0.44 beim Ablehnungsmaß von xstest.
IBM ist offen, was die Kosten angeht. Die Model Card sieht es für Modellbewertung, Monitoring und Stichproben mit moderaten Latenzanforderungen vor und verweist Teams mit knappem Latenzbudget auf das 38M-Modell für Hass, Beleidigung und Obszönität. Der Think-Modus fügt jeder Prüfung generierte Begründung hinzu, und IBM warnt, dass diese unsicheren Text enthalten und nicht widerspiegeln kann, wie die Bewertung zustande kam.
Das rein englische Training ist die größte praktische Grenze. Für mehrsprachige Moderation deckt Qwen3Guard 119 Sprachen und Dialekte ab, und für schnelles Screening auf Injection ist ein Klassifikator wie Prompt Guard 2 pro Aufruf weit günstiger.
Wo es sich lohnt
Ein RAG-Team bei einem juristischen Verlag, das Fragen zu Fallzusammenfassungen beantwortet
Antworten markieren, die von den abgerufenen Passagen nicht gedeckt sind
Schicke Frage, abgerufenen Kontext und Antwort mit dem Fundierungskriterium im No-Think-Modus und leite ein Ja an menschliche Prüfung weiter. Wer nur eine Stichprobe des Verkehrs prüft, hält die GPU-Kosten niedrig.
Ein Agenten-Entwickler, dessen Assistent über Funktionsaufrufe Termine bucht
Tool-Aufrufe mit erfundenen Argumenten oder der falschen Funktion abfangen
Übergib vor der Ausführung das Tool-Schema und den geplanten Aufruf mit dem Kriterium für Halluzinationen bei Funktionsaufrufen; IBM meldet für diese Prüfung 0.79 auf FC Reward Bench im No-Think-Modus.
Eine Trust-and-Safety-Leiterin bei einer englischsprachigen Community-App
Eine Hausregel durchsetzen, die die Standardkategorien für Schaden nicht erfassen
Formuliere die Regel als Prompt für Bring Your Own Criteria, teste sie wie von IBM empfohlen an einer gelabelten Stichprobe und wende sie auf gemeldete Beiträge statt auf jede Nachricht an.
Bevor du dich festlegst
- Einrichtung
- pip install transformers torch vllm, dann vllm serve ibm-granite/granite-guardian-4.1-8b; der Bewertungsprompt steht in der letzten Nutzernachricht mit einer Think- oder No-Think-Anweisung, Kriterien und Bewertungsschema.
- Integrationen
- Transformers, vLLM, SGLang und Docker Model Runner; GGUF-Builds aus der Community für llama.cpp, Ollama und LM Studio; Notebooks für Colab und Kaggle.
- Daten und Datenschutz
- Selbst gehostet, Prompts und Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung ohne Zugangsbeschränkung.
- Kosten im großen Maßstab
- Keine API-Gebühr; eine GPU, die ein 8B-Modell bedient. Der Think-Modus kostet pro Prüfung zusätzliche generierte Tokens, No-Think passt also zu Volumen und Think zu Audits.
- Grenzen
- Nur Englisch; liefert Ja oder Nein, kein kalibriertes Label mit mehreren Klassen; Kontextlänge in der Model Card nicht angegeben; IBM empfiehlt, nur seine Prompt-Vorlage zu nutzen.
Was gut ist
- Prüfungen auf Schaden, RAG-Fundierung und Funktionsaufrufe in einem Modell
- Genauigkeit bei eigenen Kriterien von 0.569 auf 0.844 bei IFEval mit mehreren Vorgaben
- Apache 2.0 und ohne Zugangsbeschränkung
- Think- und No-Think-Modus tauschen Latenz gegen Erklärung
Was nicht
- Nur Englisch
- Mit 8B zu langsam, um jede Nachricht inline zu prüfen
- Sicherheits-F1 gegenüber früheren Versionen etwa gleich
- Begründungen können unzutreffend sein oder unsicheren Text enthalten
Am besten für
Englischsprachige Teams, die einen offenen Richter für Sicherheit, Retrieval-Fundierung und Tool-Aufrufe von Agenten wollen, eingesetzt auf Stichproben oder riskantem Verkehr.
Alternativen zu Granite Guardian 4.1 8B
Granite Guardian 4.1 8B: häufige Fragen
- Lohnt sich Granite Guardian 4.1 8B?
- Ein offener Richter für englischsprachige Apps, der Schaden, Fundierung und Tool-Aufrufe in einem Modell abdeckt, mit 8B aber eher für Stichproben taugt als als Inline-Filter für jede Nachricht. Wir bewerten es mit 4.0 von 5.
- Was kostet Granite Guardian 4.1 8B?
- Kostenlose offene Gewichte unter Apache 2.0, ohne Zugangsbeschränkung auf Hugging Face; nur selbst gehostet, kein gehosteter Inferenzanbieter gelistet.
- Welche Nachteile hat Granite Guardian 4.1 8B?
- Nur Englisch; Mit 8B zu langsam, um jede Nachricht inline zu prüfen; Sicherheits-F1 gegenüber früheren Versionen etwa gleich; Begründungen können unzutreffend sein oder unsicheren Text enthalten.
- Für wen eignet sich Granite Guardian 4.1 8B?
- Englischsprachige Teams, die einen offenen Richter für Sicherheit, Retrieval-Fundierung und Tool-Aufrufe von Agenten wollen, eingesetzt auf Stichproben oder riskantem Verkehr.
- Was kostet Granite Guardian 4.1 8B für ein Team oder im Produktivbetrieb?
- Keine API-Gebühr; eine GPU, die ein 8B-Modell bedient. Der Think-Modus kostet pro Prüfung zusätzliche generierte Tokens, No-Think passt also zu Volumen und Think zu Audits.
- Ist Granite Guardian 4.1 8B sicher für Firmendaten?
- Selbst gehostet, Prompts und Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung ohne Zugangsbeschränkung.
- Was sind die besten Alternativen zu Granite Guardian 4.1 8B?
- Die nächsten Alternativen, die wir getestet haben, sind Qwen3Guard, gpt-oss-safeguard und Shieldstral 1.0 3B.
Antworten geprüft am 6. Nov. 2026.
Du entwickelst Granite Guardian 4.1 8B? Zeig diese Bewertung auf deiner Website
