O que é Laya?
O Laya é um modelo de decisão de pesos abertos da Convai Innovations, publicado pela primeira vez em 18 de setembro de 2026 sob Apache 2.0. Como o Jev, ele recebe um estado e perguntas tipadas (escolha, pontuação e o sim/não "noul") e retorna probabilidades em uma única passada para a frente, em vez de gerar texto. Ao contrário do Jev, é um pequeno modelo encoder que roda na CPU de um notebook ou em uma GPU modesta.
Há três checkpoints. O de inglês é construído sobre o ModernBERT-large (421 milhões de parâmetros, contexto de 512 tokens); o laya-multilingual usa o mmBERT-base (322 milhões de parâmetros, 1.024 tokens por padrão e até 8.192) e cobre mais de 100 idiomas; o laya-typed-decisions é o modelo de inglês com fine-tuning em um benchmark de quatro fluxos de trabalho. Um Router no pacote Python detecta a escrita e o idioma e escolhe o checkpoint certo para cada requisição.
O pacote (versão 0.4.15 no PyPI em 26 de outubro de 2026) também inclui o laya-serve, um servidor que aceita as mesmas requisições POST /v1/systemone que o Jev, então clientes existentes do Jev podem trocar mudando a base URL. Por padrão, ele escuta em todas as interfaces de rede, sem autenticação, a menos que LAYA_API_KEY esteja definida.
Laya vale a pena?
O próprio model card do Laya é incomumente franco sobre o problema principal. Os checkpoints base ficam perto do acaso no seu benchmark de decisões tipadas, com 0,362 contra uma linha de base aleatória de 0,318 e 0,461 para sempre escolher a resposta mais comum. O destaque de 0,766, que supera os 0,727 que o README cita para o Jev 1.13, pertence ao checkpoint com fine-tuning na própria divisão de treino desse benchmark.
Testes independentes concordam. No Jev Decision Index 0.4.1 da comunidade, o Laya fica em 216º de 228 entradas, com pontuação de 9,21, onde 0 é chute aleatório, contra 60,24 do Jev 1.14. Na amostra de calibração do índice, ele acertou 37,7% das vezes. O card acrescenta que o checkpoint de inglês marcou zero em khmer enquanto informava 0,952 de confiança, e é por isso que o roteador de idiomas importa mais do que parece à primeira vista.
Onde ele vence é em velocidade e tamanho. A Convai informa 32,8 ms para uma pergunta em uma GPU T4 e cerca de 6,8 ms por pergunta em lotes de 50, ou de 193 a 464 ms por requisição em uma CPU. O Decision Index mediu uma mediana de 5,8 ms com o caminho rápido de kernels fundidos do Laya e de 19,8 ms sem ele; dois participantes agora são ainda mais rápidos. Um notebook gratuito no Kaggle cobre o fine-tuning e o ajuste de temperatura de ponta a ponta.
Os modos de falha conhecidos são específicos. Perguntas de escolha com mais de cerca de 20 opções dividem um orçamento fixo de tokens, então no Banking77 o README informa o Laya com 0,425 em todos os 77 rótulos, contra 0,870 do Jev em 72, o que não é um teste equivalente. Perguntas de sim/não podem seguir os rótulos das opções em vez da entrada, e o campo act_probability não traz sinal utilizável (AUROC 0,30), então o card diz para filtrar pela confiança. Poucos fornecedores publicam tanto sobre as próprias fraquezas, o que torna o resto do card mais confiável que a comparação com o Jev, em que todo número do Jev é de terceiros e nunca foi medido de novo pela Convai.
Onde ele se destaca
Um engenheiro de ML em uma fintech com alguns milhares de tickets de suporte rotulados
Encaminhar e marcar tickets em menos de 50 ms sem enviá-los para uma API de terceiros
Faça fine-tuning com os tickets rotulados usando o notebook do Kaggle, reajuste as temperaturas e depois sirva com o laya-serve em uma GPU da classe T4. A acurácia do checkpoint base é fraca, então o fine-tuning não é opcional.
Uma equipe de plataforma que opera um pipeline de agentes com LLM
Adicionar checagens baratas de guardrail e de escalonamento antes das chamadas de ferramenta
Várias perguntas de sim/não e de escolha vão em uma única passada, cerca de 7 ms cada em lotes de 50 em uma T4, pelos números da Convai. Auto-hospedar custa só a GPU, contra US$ 0,042 por 1M de tokens de entrada na API do Jev; filtre pela confiança, não por act_probability.
Um líder de operações de atendimento com filas de suporte em hindi, espanhol e inglês
Fazer a triagem de e-mails multilíngues sem pagar por requisição
O Router envia automaticamente o texto que não está em inglês para o laya-multilingual, e 45 de 51 idiomas ficaram acima de três vezes o acaso nos testes da Convai. Sem rótulos internos para o fine-tuning, a acurácia não justifica abandonar uma API de decisão hospedada.
Antes de decidir
- Configuração
- Rode pip install laya (Python 3.10 ou mais recente); o Router baixa um checkpoint no primeiro uso, cerca de 808 MB para o inglês e 647 MB para o multilíngue. O card diz para definir USE_TF=0 se o carregamento travar.
- Integrações
- Extras opcionais adicionam um servidor HTTP, um servidor MCP, suporte a LangChain e LangGraph e ONNX Runtime; o laya-serve aceita as requisições POST /v1/systemone do Jev.
- Dados e privacidade
- Pesos Apache 2.0 no seu próprio hardware, então nenhum dado sai dele. O laya-serve escuta em 0.0.0.0 sem autenticação, a menos que LAYA_API_KEY esteja definida, então defina uma chave ou proteja a porta com firewall.
- Custo em escala
- Sem taxas de licença nem por requisição. A Convai informa de 103 a 332 perguntas por segundo em lote em uma T4, e o notebook de fine-tuning roda no plano gratuito de duas T4 do Kaggle.
- Limites
- 512 tokens no checkpoint de inglês (cerca de 320 para o estado) e 1.024 no multilíngue, que pode subir para 8.192, com acurácia irregular além de cerca de 4.000 tokens. Perguntas de pontuação ordinal são o tipo mais fraco (0,372 no SST-5), e trocar de checkpoint com max_loaded=1 custa um recarregamento de 7 a 10 segundos.
O que é bom
- Pesos Apache 2.0; roda em CPU ou em uma GPU pequena
- Cerca de 33 ms por pergunta em uma T4, pela medição do fornecedor
- O Router cobre mais de 100 idiomas em três checkpoints
- Servidor compatível com o Jev e notebook gratuito de fine-tuning
O que não é
- Checkpoints base perto do acaso em decisões difíceis, segundo o próprio card
- 216º de 228 no Decision Index 0.4.1
- Vem confiante demais; precisa reajustar a temperatura
- O servidor não tem autenticação, a menos que você defina uma chave
Ideal para
Equipes com dados próprios de decisão rotulados que querem um modelo minúsculo e auto-hospedado para fazer fine-tuning para roteamento rápido ou guardrails.
Alternativas ao Laya
Laya: perguntas frequentes
- Laya vale a pena?
- Muito rápido e realmente aberto, mas perto de chutar em decisões difíceis sem ajuste: uma base para fine-tuning, não um substituto do Jev. Damos nota 3.4 de 5.
- Quanto custa Laya?
- Pesos e pacote Python gratuitos sob Apache 2.0. Sem API paga hospedada; você mesmo o roda.
- Quais são as desvantagens de Laya?
- Checkpoints base perto do acaso em decisões difíceis, segundo o próprio card; 216º de 228 no Decision Index 0.4.1; vem confiante demais; precisa reajustar a temperatura; o servidor não tem autenticação, a menos que você defina uma chave.
- Para quem Laya é indicado?
- Equipes com dados próprios de decisão rotulados que querem um modelo minúsculo e auto-hospedado para fazer fine-tuning para roteamento rápido ou guardrails.
- Quanto custa Laya para uma equipe ou em produção?
- Sem taxas de licença nem por requisição. A Convai informa de 103 a 332 perguntas por segundo em lote em uma T4, e o notebook de fine-tuning roda no plano gratuito de duas T4 do Kaggle.
- Laya é seguro para dados da empresa?
- Pesos Apache 2.0 no seu próprio hardware, então nenhum dado sai dele. O laya-serve escuta em 0.0.0.0 sem autenticação, a menos que LAYA_API_KEY esteja definida, então defina uma chave ou proteja a porta com firewall.
- Quais são as melhores alternativas ao Laya?
- As alternativas mais próximas que analisamos são GLiNER2.5-Decide, Jev, Perplexity Decider (pplx-decider), d3 (vLLM Semantic Router), Clef e ScaleDown Constrained Decoding Models (Classify, Extract, Summarize).
Respostas verificadas em 26 de out. de 2026.