O que é Laya?
Este é o lado do código do Laya, os pequenos modelos abertos de decisão da Convai Innovations. O pacote pip (lançado pela primeira vez em 18 de setembro de 2026) carrega três checkpoints, um em inglês e um de decisões tipadas sobre ModernBERT-large (421M parâmetros) e um multilíngue sobre mmBERT-base (322M), e responde perguntas de escolha, pontuação e sim/não em uma única passada. Seu Router detecta a escrita e o idioma de cada requisição em menos de um milissegundo e a envia ao checkpoint capaz de lê-la.
Em volta disso há extras opcionais: laya-serve, um servidor HTTP que aceita as requisições POST /v1/systemone do TypeSafe Jev, para que clientes Jev possam migrar mudando a URL base; um servidor MCP; integrações com LangChain, LangGraph, LlamaIndex e CrewAI; caminhos rápidos em ONNX e GPU; e SDKs para TypeScript, Rust e .NET. O repositório também traz notebooks de ajuste fino para as GPUs T4 gratuitas do Kaggle e para Apple Silicon. Tudo é Apache 2.0.
Laya vale a pena?
O repositório é melhor que os modelos que ele serve. O Router resolve uma falha que os autores encontraram e documentaram: o checkpoint em inglês teve acurácia de 0.000 em khmer enquanto informava 0.952 de confiança, então limiares de confiança não conseguiam detectá-la, e agora o roteador verifica a escrita antes de o modelo rodar. A velocidade é real, 33 ms para uma pergunta e 7.2 ms por pergunta em lotes em uma T4, segundo o README.
O servidor exige cuidado. O `laya-serve` se vincula a 0.0.0.0:8000 por padrão e só exige uma chave bearer quando LAYA_API_KEY está definida, então, de fábrica, qualquer pessoa na rede pode chamá-lo. Defina a chave, ou LAYA_HOST=127.0.0.1, antes de iniciá-lo em qualquer ambiente compartilhado. Ele fala o formato de comunicação do Jev, limita os lotes a 64 estados e retorna erros 422 para perguntas malformadas.
Os modelos são a parte fraca. No próprio benchmark de decisões tipadas do projeto, com 2.000 decisões, o checkpoint base em inglês tem acurácia de 0.362 e o checkpoint ajustado de decisões tipadas, 0.766. O README também diz que os dois checkpoints distribuídos são confiantes demais e que o multilíngue não tem temperaturas ajustadas, então suas pontuações de confiança precisam ser calibradas com seus dados antes que você condicione qualquer coisa a elas. O notebook do Kaggle roda todo o ciclo de ajuste fino em duas T4 gratuitas.
O ritmo impressiona: o repositório foi criado em 18 de setembro de 2026, tem cerca de 34.000 estrelas e chegou à v0.4.13 em 21 de outubro, três versões em quatro dias. A comparação mais útil não é com o Jev, mas com um classificador ajustado convencional. O Laya recebe as perguntas como entrada, então uma nova decisão exige um schema em vez de uma rodada de treinamento, até que a acurácia exija uma de qualquer forma.
Onde ele se destaca
Um engenheiro de operações de suporte em uma central de atendimento com 30 agentes
Encaminhar cada ticket por departamento, urgência e risco de cancelamento
Chamar Router.predict em cada ticket para obter três respostas tipadas em uma passada. Ajuste antes com tickets antigos usando o notebook do Kaggle, que não custa nada nas T4 gratuitas; a acurácia de 0.362 do checkpoint base no benchmark é baixa demais para encaminhar.
Uma equipe que já chama a API hospedada do TypeSafe Jev
Auto-hospedar as decisões para manter o texto dos tickets dentro de casa
Rodar o laya-serve e redirecionar a URL base do cliente. Defina LAYA_API_KEY e vincule a 127.0.0.1 ou a um endereço privado; a contrapartida é uma acurácia menor que a de um modelo hospedado, a menos que você faça ajuste fino.
Uma equipe de produto com clientes escrevendo em dezenas de idiomas
Fazer a triagem de mensagens sem um modelo separado por idioma
O Router envia automaticamente textos que não estão em inglês ao laya-multilingual. Documentos longos exigem max_len=8192; o README relata 16 a 18 acertos em 20 até cerca de 4.000 tokens e resultados mais variáveis além disso.
Antes de decidir
- Configuração
- `python -m pip install laya` em Python 3.10+; o Router baixa um checkpoint do Hugging Face no primeiro uso. `laya[serve]` adiciona o servidor HTTP.
- Integrações
- Extras para serve, mcp, langchain, llamaindex, crewai, onnx e um caminho rápido em GPU com TileLang; laya-ts no npm; SDKs para Rust e .NET; clientes da comunidade em Haskell e PHP.
- Dados e privacidade
- Os pesos vêm do Hugging Face; a inferência roda localmente. O laya-serve se vincula a 0.0.0.0:8000 e fica sem autenticação, a menos que LAYA_API_KEY esteja definida. Código e pesos são Apache 2.0; nenhum alerta de segurança publicado.
- Custo em escala
- Sem edição paga. Com os 7.2 ms por pergunta em lote do README, uma T4 processa cerca de 140 perguntas por segundo; a inferência em CPU funciona com LAYA_THREADS para limitar as threads.
- Limites
- Os checkpoints vêm confiantes demais; a acurácia em documentos longos varia além de cerca de 4.000 tokens; as versões chegam a cada poucos dias, então fixe uma versão; 93 issues abertas.
O que é bom
- Roteador de idiomas que evita respostas erradas e confiantes em escritas ilegíveis para o modelo
- Servidor compatível com Jev, servidor MCP e integrações com frameworks
- Notebooks de ajuste fino para GPUs gratuitas do Kaggle e Apple Silicon
- 33 ms por pergunta em uma T4, segundo o README
O que não é
- O checkpoint base em inglês marca 0.362 no próprio benchmark
- O servidor se vincula a 0.0.0.0 sem autenticação, a menos que uma chave seja definida
- Os checkpoints distribuídos são confiantes demais até serem calibrados
- API que muda rápido; fixe as versões
Ideal para
Desenvolvedores que vão ajustar um pequeno modelo de decisão com os próprios dados e querem um roteador, um servidor e um ciclo de treinamento prontos.
Alternativas ao Laya
Laya: perguntas frequentes
- Laya vale a pena?
- Uma infraestrutura bem pensada em torno de pequenos modelos de decisão que só ficam precisos depois que você os ajusta com seus próprios rótulos. Damos nota 3.6 de 5.
- Quanto custa Laya?
- Gratuito e de código aberto (Apache 2.0), incluindo os pesos dos modelos.
- Quais são as desvantagens de Laya?
- O checkpoint base em inglês marca 0.362 no próprio benchmark; o servidor se vincula a 0.0.0.0 sem autenticação, a menos que uma chave seja definida; os checkpoints distribuídos são confiantes demais até serem calibrados; aPI que muda rápido; fixe as versões.
- Para quem Laya é indicado?
- Desenvolvedores que vão ajustar um pequeno modelo de decisão com os próprios dados e querem um roteador, um servidor e um ciclo de treinamento prontos.
- Quanto custa Laya para uma equipe ou em produção?
- Sem edição paga. Com os 7.2 ms por pergunta em lote do README, uma T4 processa cerca de 140 perguntas por segundo; a inferência em CPU funciona com LAYA_THREADS para limitar as threads.
- Laya é seguro para dados da empresa?
- Os pesos vêm do Hugging Face; a inferência roda localmente. O laya-serve se vincula a 0.0.0.0:8000 e fica sem autenticação, a menos que LAYA_API_KEY esteja definida. Código e pesos são Apache 2.0; nenhum alerta de segurança publicado.
- Quais são as melhores alternativas ao Laya?
- As alternativas mais próximas que analisamos são colibri, vLLM e SGLang.
Respostas verificadas em 26 de out. de 2026.