Melhores gateways de LLM e ferramentas de observabilidade open source de 2026

Das 25 opções de gateways de LLM e ferramentas de observabilidade open source que analisamos, as melhores no momento são Langfuse, Anthropic Sandbox Runtime (srt) e MLflow. Cada uma aparece pela nossa nota, com preço, nosso veredito e para quem é indicada.

Por Sheela · Atualizado em 3 de nov. de 2026 · Como avaliamos

Como montamos o ranking: pela nossa nota (máximo 5), com base em análises feitas a partir dos preços, da documentação e das políticas de cada produto, além de benchmarks independentes quando existem, cada uma verificada na data indicada na análise. Não recebemos comissão de afiliados.

1
Langfuse
Rastreamento de LLM neutro em relação a frameworks que você pode ter por completo: o build auto-hospedado gratuito cobre quase tudo, e a nuvem tem preço definido até a unidade.
Ideal para: Equipes que querem rastreamento e avaliação neutros em relação a frameworks, que possam auto-hospedar de graça ou comprar como serviço de nuvem com preço razoável.
Preço: Gratuito e de código aberto sob MIT, exceto as pastas ee/, sob licença comercial. Nuvem: Hobby gratuito (50k unidades/mês); Core $29/mês; Pro $199/mês (complemento Teams +$300); Enterprise $2,499/mês; excedente de $8 por 100k unidades, caindo para $6 acima de 50M.
Leia nossa análise de Langfuse
4.6/5
2
Anthropic Sandbox Runtime (srt)
Seu agente de programação pode ser convencido de qualquer coisa; o sistema operacional não, e o srt coloca o sistema operacional no comando.
Ideal para: Todo desenvolvedor que executa um agente de programação na própria máquina, como primeira camada de proteção.
Preço: Gratuito e de código aberto sob Apache 2.0.
Leia nossa análise de Anthropic Sandbox Runtime (srt)
4.4/5
3
MLflow
Continua sendo o lugar padrão para registrar experimentos de ML, agora com tracing e avaliação de LLM de graça; proteja o servidor antes que qualquer outra pessoa consiga acessá-lo.
Ideal para: Equipes de Python que treinam modelos e criam recursos com LLM e querem um único sistema de registro, gratuito e auto-hospedado, para os dois.
Preço: Grátis e de código aberto sob Apache-2.0; você paga só o servidor, o banco de dados e o armazenamento de objetos. O MLflow gerenciado na Databricks não tem preço de tabela próprio e é cobrado pela computação da Databricks; a Free Edition é só para uso pessoal.
Leia nossa análise de MLflow
4.4/5
4
garak
O scanner aberto de referência para fraquezas no nível do modelo: rode antes do lançamento e depois de cada troca de modelo, mas não o confunda com um teste das ferramentas e permissões do seu agente.
Ideal para: Equipes que querem um scan de vulnerabilidades repetível, no nível do modelo, de um endpoint de LLM antes do lançamento e depois de cada troca de modelo.
Preço: Gratuito e open source sob Apache 2.0. Você paga apenas pelas chamadas ao modelo que um scan faz.
Leia nossa análise de garak
4.3/5
5
LiteLLM
O gateway auto-hospedado padrão para equipes que precisam de uma única API, orçamentos por equipe e fallbacks entre muitos provedores, desde que fixem versões e o tratem como infraestrutura crítica de segurança.
Ideal para: Equipes de plataforma que precisam dar a muitos desenvolvedores acesso controlado a muitos provedores de modelos a partir da própria infraestrutura.
Preço: Gratuito e de código aberto sob MIT, exceto a pasta enterprise/, que está sob uma licença comercial separada. O Enterprise tem preço sob consulta, com uma chave de teste gratuita de 30 dias.
Leia nossa análise de LiteLLM
4.3/5
6
Arize Phoenix
O Phoenix tem o ciclo de avaliação mais forte entre as ferramentas abertas de tracing, embalado em uma licença e em um dono sobre os quais os departamentos jurídicos vão querer conversar.
Ideal para: Engenheiros e cientistas de dados que querem tracing baseado em padrões com um ciclo de avaliação forte, começando em um notebook.
Preço: Gratuito para auto-hospedar sob a Elastic License 2.0 (código disponível; não é permitido hospedá-lo como serviço para terceiros). Arize AX gerenciada: Free (25k spans/mês, retenção de 15 dias, 1 GB); Pro a $50/mês (50k spans, 30 dias, 10 GB); Enterprise sob consulta.
Leia nossa análise de Arize Phoenix
4.2/5
7
PyRIT
O PyRIT automatiza as conversas lentas e crescentes que quebram chatbots, desde que alguém na equipe escreva o Python que o conduz.
Ideal para: Engenheiros de segurança que precisam fazer red team a fundo em chatbots e agentes, incluindo escalada em vários turnos e front ends web.
Preço: Gratuito e de código aberto sob MIT. Você paga pelas chamadas de modelo usadas pelos ataques e pelos avaliadores baseados em LLM.
Leia nossa análise de PyRIT
4.2/5
8
NVIDIA OpenShell
Um sandbox de agentes pesado, feito para agentes que você deixa rodando sem supervisão, não para os que você fica observando.
Ideal para: Equipes que rodam agentes sem supervisão ou sobre código não confiável e precisam de regras de rede por host e por método.
Preço: Gratuito e de código aberto sob Apache 2.0.
Leia nossa análise de NVIDIA OpenShell
4.1/5
9
OpenLLMetry
Instrumente as chamadas a LLMs uma vez em OpenTelemetry padrão e mantenha a liberdade de escolher o backend, depois de mudar antes dois padrões que enviam os prompts completos à nuvem da Traceloop.
Ideal para: Equipes padronizadas em OpenTelemetry que querem traces de LLM na sua pilha de observabilidade existente sem o SDK de um fornecedor.
Preço: Gratuito e de código aberto sob Apache 2.0. A plataforma hospedada da Traceloop, agora da ServiceNow: Free até 50.000 spans por mês com retenção de 24 horas; Enterprise (SOC 2, on-prem) sob cotação.
Leia nossa análise de OpenLLMetry
4.1/5
10
OpenSandbox
Uma resposta auto-hospedada aos sandboxes de código hospedados, que compensa o trabalho com Kubernetes quando você precisa de milhares de ambientes de agente de curta duração nas suas próprias máquinas.
Ideal para: Equipes de plataforma que rodam avaliações de agentes, rollouts de RL ou execução de código multi-inquilino e querem sandboxes na própria infraestrutura.
Preço: Gratuito e de código aberto sob Apache 2.0; os mantenedores não oferecem edição paga.
Leia nossa análise de OpenSandbox
4.1/5
11
Opik
O Opik entrega o servidor inteiro sob Apache 2.0 e vende o plano hospedado mais barato, mas a build auto-hospedada não tem contas de usuário e envia dados para casa por padrão.
Ideal para: Equipes que querem uma plataforma de rastreamento e avaliação com licença permissiva e auto-hospedável, ou uma hospedada de baixo custo.
Preço: Gratuito e de código aberto sob Apache 2.0. Nuvem: Free (25k spans/mês, retenção de 60 dias); Pro $19/mês (100k spans, depois $5 a cada 100k; add-on de retenção de 400 dias a $29 a cada 100k spans); Enterprise sob consulta.
Leia nossa análise de Opik
4.1/5
12
SkillSpector
O scanner de skills para colocar na frente das suas instalações, desde que você lembre que a etapa de LLM envia os arquivos da skill ao build.nvidia.com, a menos que você troque o provedor ou passe --no-llm.
Ideal para: Equipes que instalam ou publicam skills de agente e querem uma barreira estática no CI, com revisão opcional por modelo, sem se cadastrar em um fornecedor de segurança.
Preço: Gratuito e de código aberto sob Apache 2.0. A análise por LLM roda na sua própria conta de provedor (build.nvidia.com por padrão) ou em um modelo local via Ollama.
Leia nossa análise de SkillSpector
4.1/5
13
ToolHive
Scanners dizem se um servidor MCP parece perigoso; o ToolHive limita o que ele pode fazer se for.
Ideal para: Equipes de plataforma e de segurança que precisam rodar, conter e auditar servidores MCP em toda a empresa.
Preço: Código aberto sob Apache 2.0; o Stacklok Enterprise acrescenta recursos e suporte, com preço sob consulta.
Leia nossa análise de ToolHive
4.1/5
14
NVIDIA NeMo Guardrails
O NeMo Guardrails é a camada aberta de políticas mais ampla para agentes, e cobra por essa amplitude em configuração, latência e um changelog cheio de mudanças incompatíveis.
Ideal para: Equipes que constroem agentes ou assistentes voltados a clientes e precisam de uma camada de políticas configurável em torno de cada chamada de modelo e de ferramenta.
Preço: Gratuito e de código aberto sob Apache 2.0. Os modelos NemoGuard e os microsserviços NIM da NVIDIA são distribuídos separadamente.
Leia nossa análise de NVIDIA NeMo Guardrails
4.0/5
15
Bifrost
Um gateway rápido, com licença Apache e orçamentos no build gratuito, prejudicado por um padrão de segurança que deixou a API de administração aberta até setembro de 2026.
Ideal para: Equipes com grandes volumes de requisições, ou empresas que trabalham em Go, que querem um gateway com licença Apache e orçamentos e estão dispostas a blindar a API de administração.
Preço: Gratuito e de código aberto sob Apache 2.0. O Enterprise tem preço sob consulta, com teste gratuito de 14 dias; o preço não é publicado.
Leia nossa análise de Bifrost
3.9/5
16
DeepTeam
O catálogo mais amplo de vulnerabilidades de agentes e aplicações em uma biblioteca aberta de red-teaming, mas cada veredito depende de um LLM juiz que você vai precisar conferir.
Ideal para: Equipes Python construindo agentes que querem uma cobertura de red-team mapeada para o OWASP e que possam rodar localmente.
Preço: Gratuito e de código aberto sob Apache 2.0. A plataforma da Confident AI vai de um nível gratuito a US$ 200 e US$ 2.000 por mês; seu módulo de red-teaming é um complemento do Enterprise com preço personalizado.
Leia nossa análise de DeepTeam
3.9/5
17
OpenConnector
O OpenConnector é uma resposta auto-hospedada convincente ao Composio, com as credenciais protegidas atrás de um gateway, mas sua licença acaba de ficar mais restritiva e provedores OAuth ainda exigem registrar seus próprios apps.
Ideal para: Equipes que constroem produtos com agentes e querem uma fronteira de credenciais auto-hospedada e um grande catálogo de conectores sem adotar uma plataforma de integração fechada.
Preço: Auto-hospedar é gratuito sob a OpenConnector License (Apache 2.0 modificada). Hospedado pela OOMOL: 20.000 chamadas de ferramentas de App gratuitas por mês, depois 0.0003 créditos por chamada; o preço de um crédito não é publicado.
Leia nossa análise de OpenConnector
3.8/5
18
Snyk Agent Scan
Uma primeira verificação sensata dos servidores MCP e skills em que seus agentes confiam, desde que você aceite enviar as descrições deles à Snyk e escaneie configurações não confiáveis em um sandbox.
Ideal para: Equipes que deixam desenvolvedores ou agentes instalar servidores MCP e skills e querem uma verificação de cadeia de suprimentos antes de confiar neles.
Preço: Gratuito e de código aberto sob Apache 2.0; exige uma conta e um token de API da Snyk. O escaneamento em segundo plano de toda a frota reporta ao Snyk Evo, com preço sob consulta.
Leia nossa análise de Snyk Agent Scan
3.8/5
19
vLLM Semantic Router
Um roteador aberto ambicioso para escolher modelos por solicitação, indicado para equipes que já executam vLLM e conseguem absorver um projeto em rápida evolução.
Ideal para: Equipes que servem vários modelos, frequentemente em sua própria infraestrutura de vLLM, com tráfego variado o suficiente para justificar a escolha de um modelo por solicitação.
Preço: Gratuito e de código aberto sob Apache 2.0. Sem serviço pago hospedado.
Leia nossa análise de vLLM Semantic Router
3.8/5
20
Cisco Skill Scanner
Vale colocar na frente do seu repositório de skills, desde que você acredite nos números dele: pega o óbvio, não tudo.
Ideal para: Equipes que mantêm um repositório interno de skills e querem uma barreira de varredura antes que qualquer coisa chegue aos desenvolvedores.
Preço: Gratuito sob Apache 2.0; os analisadores opcionais de LLM e na nuvem cobram pelos próprios provedores.
Leia nossa análise de Cisco Skill Scanner
3.7/5
21
Portkey AI Gateway
Um roteador elegante com licença MIT que ficou parado desde que a Palo Alto Networks o comprou; serve para rodar hoje, é difícil construir um roadmap em cima dele.
Ideal para: Equipes em runtimes de edge, ou empresas que já compram segurança da Palo Alto, que querem uma camada de roteamento leve.
Preço: Gratuito e de código aberto sob MIT. Planos hospedados: Developer gratuito (10,000 logs registrados por mês, retenção de logs de 3 dias); Production $49/mês (100,000 logs, depois $9 a cada 100,000); Enterprise sob consulta.
Leia nossa análise de Portkey AI Gateway
3.7/5
22
McpMux
Uma solução arrumada para não copiar a mesma configuração MCP e as mesmas chaves de API em quatro clientes, ainda jovem o bastante para você esperar um build novo quase todo dia.
Ideal para: Desenvolvedores que usam vários clientes MCP na mesma máquina e cansaram de manter configurações e chaves sincronizadas.
Preço: Gratuito e de código aberto sob GPL-3.0; nenhum plano pago publicado.
Leia nossa análise de McpMux
3.6/5
23
W&B Weave
Vale a pena ativar se os seus modelos já residem no Weights & Biases; a $0.10 por megabyte, é uma escolha difícil para quem está começando do zero.
Ideal para: Equipes que já usam Weights & Biases para treinamento de modelos e querem rastreamentos e avaliações de LLM no mesmo local.
Preço: SDK gratuito sob Apache 2.0. Hospedado: Free (1 GB de ingestão do Weave/mês); Pro a partir de $60/mês (1.5 GB, depois $0.10/MB); Enterprise sob consulta ($0.20/MB de excedente listado), com implantação dedicada.
Leia nossa análise de W&B Weave
3.6/5
24
Free Claude Code
Um roteador de modelos competente escondido atrás de um nome enganoso, e que vem escutando em toda a sua rede com a autenticação desligada.
Ideal para: Hobbistas e estudantes que querem rodar o Claude Code ou o Codex com modelos gratuitos e locais.
Preço: Gratuito e open source sob AGPL-3.0. O custo dos modelos depende dos provedores que você conecta; muitos têm níveis gratuitos com limites de uso.
Leia nossa análise de Free Claude Code
3.4/5
25
Guardrails AI
Uma boa ideia que ficou sem dono: o código Apache 2.0 ainda roda, mas ninguém está incorporando correções e as partes hospedadas acabaram.
Ideal para: Usuários atuais com validadores determinísticos que conseguem fixar versões e aplicar correções por conta própria.
Preço: Gratuito e open source sob Apache 2.0. O registro hospedado do Hub e a inferência remota gratuita fecharam em 25 de agosto de 2026.
Leia nossa análise de Guardrails AI
3.2/5