Viel KI-Arbeit in Software ist nicht Schreiben, sondern Auswählen: Welches Team bekommt dieses Support-Ticket, wie dringend ist es, verlangt der Kunde eine Erstattung. Eine neue Klasse von Entscheidungsmodellen beantwortet solche Fragen direkt mit Wahrscheinlichkeiten, statt Text zu erzeugen, und Hugging Face hat ihnen nun eine gemeinsame Schnittstelle in seinen Werkzeugen gegeben. Für Entwickler heißt das: Ein Router oder Klassifikator auf Basis eines Entscheidungsmodells sollte sich gegen ein anderes austauschen lassen, ohne den Verbindungscode neu zu schreiben.
Die Schnittstelle ist einfach. Man schickt einen Zustand, also die zu beurteilende Information, als Text oder strukturiertes JSON, dazu benannte Fragen. Jede Frage nutzt eines von drei Grundelementen: choice wählt zwischen Optionen und liefert für jede eine Wahrscheinlichkeit, score bewertet etwas auf einer geordneten Skala und liefert die erwartete Stufe, und noul ist eine Ja-Nein-Frage, beantwortet mit der Wahrscheinlichkeit für Ja. Antworten vom Typ choice und score enthalten außerdem einen Konfidenzwert, so skaliert, dass eine gleichmäßige Verteilung 0 und volle Sicherheit 1 ergibt. In Hugging Faces Abrechnungsbeispiel setzte das Modell 0,998 auf billing, was einer Konfidenz von 0,997 entspricht.
Die Neuigkeit liegt in der Infrastruktur. Transformers hat nun DecisionPipeline, AutoModelForDecision und DecisionConfig, und transformers serve bietet einen Endpunkt /v1/systemone. llama.cpp, das wir besprechen, stellt Entscheidungsmodelle über denselben Endpunkt bereit, sodass eine für ein Modell bei Hugging Face geschriebene Anfrage auch mit einem lokalen GGUF-Modell funktioniert. Der Hub hat ein Tag decision-model, und Modelle lassen sich mit dem üblichen Trainer feintunen, wobei eine choice-Frage mit einfacher Kreuzentropie über die Optionen trainiert wird. Der Beitrag merkt an, dass die Modelle hinter der Schnittstelle variieren, von Encodern wie ModernBERT bis zu Auswertungen auf großen generativen Modellen.
Der Kontext zählt. Jev von TypeSafe AI, das wir besprechen, hat die Idee unter dem Namen System-One-Modell bekannt gemacht, und Google hat gerade die eigene Gemini Decisions API mit denselben drei Fragetypen gestartet. Ein gemeinsames offenes Format erleichtert den Vergleich untereinander und mit der Variante, ein Chatmodell um JSON zu bitten, das, wie der Beitrag anmerkt, das Schema verletzen oder außerhalb der erlaubten Optionen antworten kann.
Die Grenzen sind praktischer Natur. Eine Standardschnittstelle macht kein Modell genau oder kalibriert, und der Konfidenzwert ist eine umskalierte Wahrscheinlichkeit, keine Garantie. Wie ein Kommentator anmerkt, liegt die Schwierigkeit im Betrieb darin, Schwellenwerte zu wählen und sie an echten, später eintreffenden Ergebnissen zu prüfen. Ob andere Modellanbieter das Format übernehmen, statt eigene APIs zu behalten, entscheidet, wie viel es bewirkt.