Was ist Laya?
Laya ist ein Entscheidungsmodell mit offenen Gewichten von Convai Innovations, erstmals veröffentlicht am 18. September 2026 unter Apache 2.0. Wie Jev nimmt es einen state und typisierte Fragen (choice, score und das Ja/Nein-"noul") entgegen und liefert in einem einzigen Forward Pass Wahrscheinlichkeiten, statt Text zu generieren. Anders als Jev ist es ein kleines Encoder-Modell, das auf einer Laptop-CPU oder einer bescheidenen GPU läuft.
Es gibt drei Checkpoints. Der englische basiert auf ModernBERT-large (421 Millionen Parameter, 512 Tokens Kontext); laya-multilingual nutzt mmBERT-base (322 Millionen Parameter, standardmäßig 1.024 Tokens und bis zu 8.192) und deckt mehr als 100 Sprachen ab; laya-typed-decisions ist das englische Modell, feinjustiert auf einen Benchmark mit vier Workflows. Ein Router im Python-Paket erkennt Schrift und Sprache und wählt für jede Anfrage den passenden Checkpoint.
Das Paket (Version 0.4.15 auf PyPI am 26. Oktober 2026) enthält außerdem laya-serve, einen Server, der dieselben Anfragen POST /v1/systemone annimmt wie Jev, bestehende Jev-Clients können also durch eine Änderung der Basis-URL wechseln. Standardmäßig lauscht er auf allen Netzwerkschnittstellen ohne Authentifizierung, sofern LAYA_API_KEY nicht gesetzt ist.
Lohnt sich Laya?
Layas eigene Model Card ist beim Hauptproblem ungewöhnlich offen. Die Basis-Checkpoints liegen in ihrem Benchmark für typisierte Entscheidungen nahe am Zufall, mit 0,362 gegenüber einer Zufallsbasis von 0,318 und 0,461 für das ständige Wählen der häufigsten Antwort. Der Spitzenwert von 0,766, der die im README für Jev 1.13 zitierten 0,727 schlägt, gehört zum Checkpoint, der auf dem Trainingssplit genau dieses Benchmarks feinjustiert wurde.
Unabhängige Tests bestätigen das. Im Community-Index Jev Decision Index 0.4.1 steht Laya mit 9,21 Punkten auf Platz 216 von 228 Einträgen, wobei 0 reines Raten bedeutet, gegenüber 60,24 für Jev 1.14. In der Kalibrierungsstichprobe des Index lag es in 37,7 % der Fälle richtig. Die Card ergänzt, dass der englische Checkpoint bei Khmer null Punkte erzielte und dabei eine Konfidenz von 0,952 meldete, weshalb der Sprach-Router wichtiger ist, als es zunächst scheint.
Punkten kann es bei Geschwindigkeit und Ressourcenbedarf. Convai meldet 32,8 ms für eine Frage auf einer T4-GPU und etwa 6,8 ms pro Frage in Batches von 50, oder 193 bis 464 ms pro Anfrage auf einer CPU. Der Decision Index hat mit Layas Fast Path mit fusionierten Kernels einen Median von 5,8 ms gemessen und ohne ihn 19,8 ms; zwei Teilnehmer sind inzwischen noch schneller. Ein kostenloses Kaggle-Notebook deckt Fine-Tuning und Temperaturanpassung vollständig ab.
Die bekannten Schwächen sind konkret. choice-Fragen mit mehr als etwa 20 Optionen teilen sich ein festes Token-Budget, und so meldet das README bei Banking77 für Laya 0,425 auf allen 77 Labels gegenüber 0,870 für Jev auf 72, kein Vergleich unter gleichen Bedingungen. Ja/Nein-Fragen können sich nach ihren Optionsbezeichnungen statt nach dem Input richten, und das Feld act_probability trägt kein brauchbares Signal (AUROC 0,30), weshalb die Card empfiehlt, stattdessen über die Konfidenz zu steuern. Wenige Anbieter schreiben so viel über die eigenen Schwächen, was den Rest der Card glaubwürdiger macht als ihren Vergleich mit Jev, bei dem jede Jev-Zahl von Dritten stammt und von Convai nie nachgemessen wurde.
Wo es sich lohnt
Ein ML-Ingenieur bei einem Fintech mit einigen tausend gelabelten Support-Tickets
Tickets in unter 50 ms routen und taggen, ohne sie an eine fremde API zu schicken
Feinjustiere mit dem Kaggle-Notebook auf den gelabelten Tickets, passe die Temperaturen neu an und stell das Modell mit laya-serve auf einer GPU der T4-Klasse bereit. Die Genauigkeit der Basis-Checkpoints ist schlecht, das Fine-Tuning ist also nicht optional.
Ein Plattformteam mit einer LLM-Agenten-Pipeline
Günstige Guardrail- und Eskalationsprüfungen vor Tool-Aufrufen ergänzen
Mehrere Ja/Nein- und choice-Fragen laufen in einem Forward Pass, nach Convais Zahlen etwa 7 ms pro Frage in Batches von 50 auf einer T4. Self-Hosting kostet nur die GPU, gegenüber 0,042 $ pro 1 Mio. Input-Tokens auf Jevs API; steuere über die Konfidenz, nicht über act_probability.
Eine Leiterin des Kundenbetriebs mit Support-Warteschlangen auf Hindi, Spanisch und Englisch
Mehrsprachige E-Mails sichten, ohne pro Anfrage zu zahlen
Der Router schickt nicht englischen Text automatisch an laya-multilingual, und in Convais Tests lagen 45 von 51 Sprachen über dem Dreifachen des Zufalls. Ohne eigene Labels zum Feinjustieren rechtfertigt die Genauigkeit keinen Abschied von einer gehosteten Entscheidungs-API.
Bevor du dich festlegst
- Einrichtung
- pip install laya (Python 3.10 oder neuer); der Router lädt beim ersten Einsatz einen Checkpoint herunter, etwa 808 MB für Englisch und 647 MB für die mehrsprachige Version. Die Card rät, USE_TF=0 zu setzen, falls das Laden hängt.
- Integrationen
- Optionale Extras ergänzen einen HTTP-Server, einen MCP-Server, Unterstützung für LangChain und LangGraph sowie ONNX Runtime; laya-serve nimmt Jevs Anfragen POST /v1/systemone an.
- Daten und Datenschutz
- Gewichte unter Apache 2.0 auf deiner eigenen Hardware, es verlassen also keine Daten das Haus. laya-serve bindet 0.0.0.0 ohne Authentifizierung, sofern LAYA_API_KEY nicht gesetzt ist, setz also einen Schlüssel oder schirme den Port per Firewall ab.
- Kosten im großen Maßstab
- Keine Lizenz- oder Anfragegebühren. Convai meldet 103 bis 332 Fragen pro Sekunde im Batch auf einer T4, und das Fine-Tuning-Notebook läuft auf Kaggles kostenloser Stufe mit zwei T4.
- Grenzen
- 512 Tokens beim englischen Checkpoint (etwa 320 für den state) und 1.024 bei der mehrsprachigen Version, erweiterbar auf 8.192, mit ungleichmäßiger Genauigkeit jenseits von etwa 4.000 Tokens. Ordinale score-Fragen sind der schwächste Typ (0,372 bei SST-5), und ein Checkpoint-Wechsel mit max_loaded=1 kostet ein Neuladen von 7 bis 10 Sekunden.
Was gut ist
- Gewichte unter Apache 2.0; läuft auf CPU oder kleiner GPU
- Etwa 33 ms pro Frage auf einer T4, nach Messung des Anbieters
- Router deckt mit drei Checkpoints über 100 Sprachen ab
- Jev-kompatibler Server und kostenloses Fine-Tuning-Notebook
Was nicht
- Basis-Checkpoints laut eigener Card bei schwierigen Entscheidungen nahe am Zufall
- Platz 216 von 228 im Decision Index 0.4.1
- Ab Werk übermäßig selbstsicher; braucht neue Temperaturanpassung
- Server ohne Authentifizierung, sofern du keinen Schlüssel setzt
Am besten für
Teams mit eigenen gelabelten Entscheidungsdaten, die ein winziges, selbst gehostetes Modell für schnelles Routing oder Guardrails feinjustieren wollen.
Alternativen zu Laya
Laya: häufige Fragen
- Lohnt sich Laya?
- Sehr schnell und wirklich offen, ab Werk bei schwierigen Entscheidungen aber nahe am Raten: eine Basis zum Feinjustieren, kein Ersatz für Jev. Wir bewerten es mit 3.4 von 5.
- Was kostet Laya?
- Kostenlose Gewichte und Python-Paket unter Apache 2.0. Keine gehostete kostenpflichtige API; du betreibst es selbst.
- Welche Nachteile hat Laya?
- Basis-Checkpoints laut eigener Card bei schwierigen Entscheidungen nahe am Zufall; Platz 216 von 228 im Decision Index 0.4.1; Ab Werk übermäßig selbstsicher; braucht neue Temperaturanpassung; Server ohne Authentifizierung, sofern du keinen Schlüssel setzt.
- Für wen eignet sich Laya?
- Teams mit eigenen gelabelten Entscheidungsdaten, die ein winziges, selbst gehostetes Modell für schnelles Routing oder Guardrails feinjustieren wollen.
- Was kostet Laya für ein Team oder im Produktivbetrieb?
- Keine Lizenz- oder Anfragegebühren. Convai meldet 103 bis 332 Fragen pro Sekunde im Batch auf einer T4, und das Fine-Tuning-Notebook läuft auf Kaggles kostenloser Stufe mit zwei T4.
- Ist Laya sicher für Firmendaten?
- Gewichte unter Apache 2.0 auf deiner eigenen Hardware, es verlassen also keine Daten das Haus. laya-serve bindet 0.0.0.0 ohne Authentifizierung, sofern LAYA_API_KEY nicht gesetzt ist, setz also einen Schlüssel oder schirme den Port per Firewall ab.
- Was sind die besten Alternativen zu Laya?
- Die nächsten Alternativen, die wir getestet haben, sind GLiNER2.5-Decide, Jev, Perplexity Decider (pplx-decider), d3 (vLLM Semantic Router), Clef und ScaleDown Constrained Decoding Models (Classify, Extract, Summarize).
Antworten geprüft am 26. Okt. 2026.