Was ist Laya?
Das ist die Code-Seite von Laya, den kleinen offenen Entscheidungsmodellen von Convai Innovations. Das pip-Paket (erstmals veröffentlicht am 18. September 2026) lädt drei Checkpoints, einen englischen und einen für typisierte Entscheidungen auf ModernBERT-large (421M Parameter) sowie einen mehrsprachigen auf mmBERT-base (322M), und beantwortet Auswahl-, Bewertungs- und Ja/Nein-Fragen in einem einzigen Forward Pass. Sein Router erkennt in unter einer Millisekunde Schrift und Sprache jeder Anfrage und schickt sie an den Checkpoint, der sie lesen kann.
Drumherum gibt es optionale Extras: laya-serve, einen HTTP-Server, der Anfragen an POST /v1/systemone von TypeSafe Jev annimmt, sodass Jev-Clients durch Ändern der Base-URL wechseln können; einen MCP-Server; Integrationen für LangChain, LangGraph, LlamaIndex und CrewAI; schnelle Pfade über ONNX und GPU; und SDKs für TypeScript, Rust und .NET. Das Repository enthält außerdem Notebooks zum Fine-Tuning auf den kostenlosen T4-GPUs von Kaggle und auf Apple Silicon. Alles steht unter Apache 2.0.
Lohnt sich Laya?
Das Repository ist besser als die Modelle, die es bereitstellt. Der Router löst einen Fehler, den die Autoren gefunden und dokumentiert haben: Der englische Checkpoint erreichte auf Khmer eine Genauigkeit von 0,000 bei einer gemeldeten Konfidenz von 0,952, sodass Konfidenzschwellen ihn nicht abfangen konnten. Jetzt prüft der Router die Schrift, bevor das Modell läuft. Die Geschwindigkeit ist echt: laut README 33 ms für eine Frage und 7,2 ms pro Frage im Batch auf einer T4.
Der Server braucht Sorgfalt. `laya-serve` bindet standardmäßig an 0.0.0.0:8000 und verlangt nur dann einen Bearer-Key, wenn LAYA_API_KEY gesetzt ist. Ohne Anpassung kann ihn also jeder im Netzwerk aufrufen. Setze den Key oder LAYA_HOST=127.0.0.1, bevor du ihn irgendwo startest, wo andere mitlaufen. Er spricht das Wire-Format von Jev, begrenzt Batches auf 64 States und gibt bei fehlerhaften Fragen 422-Fehler zurück.
Die Modelle sind der schwache Teil. Im projekteigenen Benchmark für typisierte Entscheidungen mit 2.000 Entscheidungen erreicht der englische Basis-Checkpoint eine Genauigkeit von 0,362 und der feinabgestimmte Checkpoint für typisierte Entscheidungen 0,766. Das README sagt außerdem, dass beide mitgelieferten Checkpoints übermäßig selbstsicher sind und der mehrsprachige keine angepassten Temperaturen hat. Seine Konfidenzwerte müssen also auf deinen Daten kalibriert werden, bevor du irgendetwas davon abhängig machst. Das Kaggle-Notebook führt den gesamten Fine-Tuning-Ablauf auf zwei kostenlosen T4s aus.
Das Tempo ist bemerkenswert: Das Repository wurde am 18. September 2026 angelegt, hat rund 34.000 Sterne und erreichte am 21. Oktober v0.4.13, drei Releases in vier Tagen. Der aufschlussreichere Vergleich ist nicht der mit Jev, sondern mit einem herkömmlichen feinabgestimmten Klassifikator. Laya nimmt die Fragen als Input, eine neue Entscheidung braucht also ein Schema statt eines Trainingslaufs, bis die Genauigkeit doch einen verlangt.
Wo es sich lohnt
Ein Support-Operations-Engineer bei einem Helpdesk mit 30 Agents
Jedes Ticket nach Abteilung, Dringlichkeit und Abwanderungsrisiko weiterleiten
Rufe Router.predict für jedes Ticket auf und erhalte drei typisierte Antworten in einem Durchgang. Stimme zuerst mit dem Kaggle-Notebook auf vergangenen Tickets fein ab, was auf kostenlosen T4s nichts kostet; die Benchmark-Genauigkeit des Basis-Checkpoints von 0,362 ist zu niedrig, um danach zu routen.
Ein Team, das bereits die gehostete API von TypeSafe Jev aufruft
Entscheidungen selbst hosten, um Tickettexte im Haus zu behalten
Starte laya-serve und richte die Base-URL des Clients neu aus. Setze LAYA_API_KEY und binde an 127.0.0.1 oder eine private Adresse; der Preis ist eine geringere Genauigkeit als bei einem gehosteten Modell, solange du nicht feinabstimmst.
Ein Produktteam, dessen Kunden in Dutzenden Sprachen schreiben
Nachrichten sortieren, ohne für jede Sprache ein eigenes Modell
Der Router schickt nicht englischen Text automatisch an laya-multilingual. Lange Dokumente brauchen max_len=8192; das README meldet bis etwa 4.000 Tokens 16 bis 18 von 20 richtigen Antworten und darüber stärker schwankende Ergebnisse.
Bevor du dich festlegst
- Einrichtung
- `python -m pip install laya` unter Python 3.10+; der Router lädt beim ersten Einsatz einen Checkpoint von Hugging Face herunter. `laya[serve]` ergänzt den HTTP-Server.
- Integrationen
- Extras für serve, mcp, langchain, llamaindex, crewai, onnx und einen schnellen GPU-Pfad über TileLang; laya-ts auf npm; SDKs für Rust und .NET; Community-Clients für Haskell und PHP.
- Daten und Datenschutz
- Die Gewichte kommen von Hugging Face; die Inferenz läuft lokal. laya-serve bindet an 0.0.0.0:8000 und ist ohne Authentifizierung, solange LAYA_API_KEY nicht gesetzt ist. Code und Gewichte stehen unter Apache 2.0; keine Sicherheits-Advisories veröffentlicht.
- Kosten im großen Maßstab
- Keine bezahlte Edition. Bei den 7,2 ms pro Frage im Batch laut README schafft eine T4 grob 140 Fragen pro Sekunde; CPU-Inferenz funktioniert, mit LAYA_THREADS lässt sich die Zahl der Threads begrenzen.
- Grenzen
- Die Checkpoints sind im Auslieferungszustand übermäßig selbstsicher; die Genauigkeit bei langen Dokumenten schwankt ab etwa 4.000 Tokens; Releases kommen alle paar Tage, also schreibe eine Version fest; 93 offene Issues.
Was gut ist
- Sprach-Router, der selbstsichere Fehlantworten bei unlesbaren Schriften vermeidet
- Jev-kompatibler Server, MCP-Server und Framework-Integrationen
- Notebooks zum Fine-Tuning auf kostenlosen Kaggle-GPUs und Apple Silicon
- Laut README 33 ms pro Frage auf einer T4
Was nicht
- Der englische Basis-Checkpoint erreicht im eigenen Benchmark 0,362
- Der Server bindet an 0.0.0.0 ohne Authentifizierung, solange kein Key gesetzt ist
- Mitgelieferte Checkpoints sind bis zur Kalibrierung übermäßig selbstsicher
- Schnell wechselnde API; Versionen festschreiben
Am besten für
Entwickler, die ein kleines Entscheidungsmodell auf eigenen Daten feinabstimmen wollen und einen fertigen Router, Server und Trainingsablauf suchen.
Alternativen zu Laya
Laya: häufige Fragen
- Lohnt sich Laya?
- Durchdachte Infrastruktur rund um kleine Entscheidungsmodelle, die erst genau werden, wenn du sie auf deine eigenen Labels feinabstimmst. Wir bewerten es mit 3.6 von 5.
- Was kostet Laya?
- Kostenlos und Open Source (Apache 2.0), einschließlich der Modellgewichte.
- Welche Nachteile hat Laya?
- Der englische Basis-Checkpoint erreicht im eigenen Benchmark 0,362; Der Server bindet an 0.0.0.0 ohne Authentifizierung, solange kein Key gesetzt ist; Mitgelieferte Checkpoints sind bis zur Kalibrierung übermäßig selbstsicher; Schnell wechselnde API; Versionen festschreiben.
- Für wen eignet sich Laya?
- Entwickler, die ein kleines Entscheidungsmodell auf eigenen Daten feinabstimmen wollen und einen fertigen Router, Server und Trainingsablauf suchen.
- Was kostet Laya für ein Team oder im Produktivbetrieb?
- Keine bezahlte Edition. Bei den 7,2 ms pro Frage im Batch laut README schafft eine T4 grob 140 Fragen pro Sekunde; CPU-Inferenz funktioniert, mit LAYA_THREADS lässt sich die Zahl der Threads begrenzen.
- Ist Laya sicher für Firmendaten?
- Die Gewichte kommen von Hugging Face; die Inferenz läuft lokal. laya-serve bindet an 0.0.0.0:8000 und ist ohne Authentifizierung, solange LAYA_API_KEY nicht gesetzt ist. Code und Gewichte stehen unter Apache 2.0; keine Sicherheits-Advisories veröffentlicht.
- Was sind die besten Alternativen zu Laya?
- Die nächsten Alternativen, die wir getestet haben, sind colibri, vLLM und SGLang.
Antworten geprüft am 26. Okt. 2026.