Qu’est-ce que Laya ?
C'est le côté code de Laya, les petits modèles de décision ouverts de Convai Innovations. Le paquet pip (d'abord publié le 18 septembre 2026) charge trois checkpoints, un anglais et un de décisions typées sur ModernBERT-large (421M de paramètres) et un multilingue sur mmBERT-base (322M), et répond aux questions de choix, de score et de oui/non en une seule passe avant. Son Router détecte le script et la langue de chaque requête en moins d'une milliseconde et l'envoie au checkpoint capable de le lire.
Autour se trouvent des extras optionnels : laya-serve, un serveur HTTP qui accepte les requêtes POST /v1/systemone de Jev de TypeSafe pour que les clients Jev puissent basculer en changeant l'URL de base ; un serveur MCP ; des intégrations LangChain, LangGraph, LlamaIndex et CrewAI ; des chemins rapides ONNX et GPU ; et des SDK TypeScript, Rust et .NET. Le dépôt contient aussi des notebooks de fine-tuning pour les GPU T4 gratuits de Kaggle et Apple Silicon. Tout est Apache 2.0.
Laya vaut-il le coup ?
Le dépôt est meilleur que les modèles qu'il sert. Le Router résout un échec que les auteurs ont trouvé et documenté : le checkpoint anglais a obtenu 0,000 d'exactitude sur le khmer tout en rapportant 0,952 de confiance, si bien que les seuils de confiance ne pouvaient pas l'attraper, et le routeur vérifie désormais le script avant que le modèle ne tourne. La vitesse est réelle, à 33 ms pour une question et 7,2 ms par question en lots sur un T4, selon le README.
Le serveur a besoin de soin. `laya-serve` se lie à 0.0.0.0:8000 par défaut et n'exige une clé bearer que lorsque LAYA_API_KEY est défini, si bien que d'emblée n'importe qui sur le réseau peut l'appeler. Définissez la clé, ou LAYA_HOST=127.0.0.1, avant de le démarrer n'importe où de partagé. Il parle le format de fil de Jev, plafonne les lots à 64 états et renvoie des erreurs 422 pour les questions malformées.
Les modèles sont la partie faible. Sur le propre benchmark de décisions typées du projet de 2 000 décisions, le checkpoint anglais de base obtient 0,362 d'exactitude et le checkpoint de décisions typées fine-tuné 0,766. Le README dit aussi que les deux checkpoints livrés sont trop confiants et que le multilingue n'a pas de températures ajustées, si bien que ses scores de confiance ont besoin d'être calibrés sur vos données avant que vous ne basiez quoi que ce soit dessus. Le notebook Kaggle fait tourner toute la boucle de fine-tuning sur deux T4 gratuits.
Le rythme est frappant : le dépôt a été créé le 18 septembre 2026, a environ 34 000 étoiles et a atteint v0.4.13 le 21 octobre, trois versions en quatre jours. La comparaison la plus utile n'est pas avec Jev mais avec un classifieur fine-tuné conventionnel. Laya prend les questions en entrée, si bien qu'une nouvelle décision a besoin d'un schéma plutôt que d'une exécution d'entraînement, jusqu'à ce que l'exactitude en exige une de toute façon.
Là où il fait la différence
Un ingénieur des opérations de support dans un service d'assistance de 30 agents
Router chaque ticket par département, urgence et risque de départ
Appelez Router.predict sur chaque ticket pour trois réponses typées en une passe. Fine-tunez d'abord sur les tickets passés avec le notebook Kaggle, qui ne coûte rien sur les T4 gratuits ; l'exactitude de benchmark de 0,362 du checkpoint de base est trop basse pour router dessus.
Une équipe qui appelle déjà l'API hébergée Jev de TypeSafe
Auto-héberger les décisions pour garder le texte des tickets en interne
Faites tourner laya-serve et repointez l'URL de base du client. Définissez LAYA_API_KEY et liez à 127.0.0.1 ou à une adresse privée ; le compromis est une exactitude plus basse qu'un modèle hébergé sauf si vous fine-tunez.
Une équipe produit avec des clients écrivant dans des dizaines de langues
Trier les messages sans un modèle séparé par langue
Le Router envoie le texte non anglais vers laya-multilingual automatiquement. Les longs documents ont besoin de max_len=8192 ; le README rapporte 16 à 18 sur 20 corrects jusqu'à environ 4 000 tokens et des résultats plus variables au-delà.
Avant de vous engager
- Mise en route
- `python -m pip install laya` sur Python 3.10+ ; le Router télécharge un checkpoint depuis Hugging Face à la première utilisation. `laya[serve]` ajoute le serveur HTTP.
- Intégrations
- Extras pour serve, mcp, langchain, llamaindex, crewai, onnx et un chemin rapide GPU TileLang ; laya-ts sur npm ; SDK Rust et .NET ; clients communautaires Haskell et PHP.
- Données et confidentialité
- Les poids viennent de Hugging Face ; l'inférence tourne localement. laya-serve se lie à 0.0.0.0:8000 et n'est pas authentifié sauf si LAYA_API_KEY est défini. Le code et les poids sont Apache 2.0 ; pas d'avis de sécurité publiés.
- Coût à grande échelle
- Pas d'édition payante. Aux 7,2 ms par question en lots du README, un T4 gère environ 140 questions par seconde ; l'inférence CPU fonctionne avec LAYA_THREADS pour plafonner les threads.
- Limites
- Les checkpoints sont trop confiants tels que livrés ; l'exactitude sur les longs documents varie au-delà d'environ 4 000 tokens ; les versions arrivent tous les quelques jours, alors épinglez une version ; 93 issues ouvertes.
Les points forts
- Routeur de langue qui évite les réponses fausses et confiantes sur les scripts illisibles
- Serveur compatible Jev, serveur MCP et intégrations de frameworks
- Notebooks de fine-tuning pour les GPU Kaggle gratuits et Apple Silicon
- 33 ms par question sur un T4, selon le README
Les points faibles
- Le checkpoint anglais de base obtient 0,362 sur son propre benchmark
- Le serveur se lie à 0.0.0.0 sans authentification sauf si une clé est définie
- Les checkpoints livrés sont trop confiants jusqu'à calibration
- API à évolution rapide ; épinglez les versions
Idéal pour
Les développeurs qui fine-tuneront un petit modèle de décision sur leurs propres données et veulent un routeur, un serveur et une boucle d'entraînement prêts.
Alternatives à Laya
Laya : questions fréquentes
- Laya vaut-il le coup ?
- Une plomberie réfléchie autour de petits modèles de décision qui ne deviennent précis qu'une fois que vous les fine-tunez sur vos propres étiquettes. Nous lui donnons 3.6 sur 5.
- Combien coûte Laya ?
- Gratuit et open source (Apache 2.0), y compris les poids des modèles.
- Quels sont les inconvénients de Laya ?
- Le checkpoint anglais de base obtient 0,362 sur son propre benchmark; le serveur se lie à 0.0.0.0 sans authentification sauf si une clé est définie; les checkpoints livrés sont trop confiants jusqu'à calibration; aPI à évolution rapide ; épinglez les versions.
- À qui s’adresse Laya ?
- Les développeurs qui fine-tuneront un petit modèle de décision sur leurs propres données et veulent un routeur, un serveur et une boucle d'entraînement prêts.
- Combien coûte Laya pour une équipe ou en production ?
- Pas d'édition payante. Aux 7,2 ms par question en lots du README, un T4 gère environ 140 questions par seconde ; l'inférence CPU fonctionne avec LAYA_THREADS pour plafonner les threads.
- Laya est-il sûr pour les données de l’entreprise ?
- Les poids viennent de Hugging Face ; l'inférence tourne localement. laya-serve se lie à 0.0.0.0:8000 et n'est pas authentifié sauf si LAYA_API_KEY est défini. Le code et les poids sont Apache 2.0 ; pas d'avis de sécurité publiés.
- Quelles sont les meilleures alternatives à Laya ?
- Les alternatives les plus proches que nous avons testées sont colibri, vLLM et SGLang.
Réponses vérifiées le 26 oct. 2026.