Die besten Open-Source-LLM-Gateways und Observability-Tools 2026

Open-Source-LLM-Gateways und Observability-Tools: Von 25 getesteten Angeboten liegen derzeit Langfuse, Anthropic Sandbox Runtime (srt) und MLflow vorn. Alle sind nach unserer Bewertung sortiert, mit Preis, unserem Fazit und für wen sie sich eignen.

Von Sheela · Aktualisiert am 3. Nov. 2026 · So testen wir

So ist das Ranking entstanden: nach unserer Bewertung (maximal 5 Punkte), aus Tests auf Grundlage der Preise, Dokumentation und Richtlinien des jeweiligen Produkts sowie unabhängiger Benchmarks, wo es sie gibt, jeweils geprüft an dem im Test genannten Datum. Wir erhalten keine Affiliate-Provisionen.

1
Langfuse
Framework-neutrales LLM-Tracing, das dir komplett gehören kann: Die kostenlose selbst gehostete Version deckt fast alles ab, und die Cloud ist bis auf die einzelne Unit genau bepreist.
Am besten für: Teams, die framework-neutrales Tracing und Evaluation wollen, das sie kostenlos selbst hosten oder als fair bepreisten Cloud-Dienst kaufen können.
Preis: Kostenlos und Open Source unter MIT, außer den ee/-Ordnern unter kommerzieller Lizenz. Cloud: Hobby kostenlos (50k Units/Monat); Core 29 $/Monat; Pro 199 $/Monat (Teams-Add-on +300 $); Enterprise 2.499 $/Monat; Mehrverbrauch 8 $ pro 100k Units, über 50M sinkend auf 6 $.
Unseren Test von Langfuse lesen
4.6/5
2
Anthropic Sandbox Runtime (srt)
Deinem Coding-Agenten lässt sich alles einreden; dem Betriebssystem nicht, und srt gibt dem Betriebssystem das Kommando.
Am besten für: Alle Entwickler, die einen Coding-Agenten auf dem eigenen Rechner laufen lassen, als erste Schutzschicht.
Preis: Kostenlos und Open Source unter Apache 2.0.
Unseren Test von Anthropic Sandbox Runtime (srt) lesen
4.4/5
3
MLflow
Weiterhin der Standardort für ML-Experimente, jetzt mit kostenlosem LLM-Tracing und Evaluation; sichere den Server ab, bevor ihn jemand anderes erreichen kann.
Am besten für: Python-Teams, die Modelle trainieren und LLM-Funktionen bauen und für beides ein kostenloses, selbst gehostetes System of Record wollen.
Preis: Kostenlos und Open Source unter Apache-2.0; du zahlst nur für Server, Datenbank und Objektspeicher. Verwaltetes MLflow auf Databricks hat keinen eigenen Listenpreis und wird über Databricks-Rechenleistung abgerechnet; die Free Edition ist nur für private Nutzung.
Unseren Test von MLflow lesen
4.4/5
4
garak
Der Standard unter den offenen Scannern für Schwächen auf Modellebene: vor dem Launch und nach jedem Modellwechsel laufen lassen, aber nicht mit einem Test der Tools und Berechtigungen deines Agenten verwechseln.
Am besten für: Teams, die vor dem Launch und nach jedem Modellwechsel einen wiederholbaren Schwachstellenscan eines LLM-Endpunkts auf Modellebene wollen.
Preis: Kostenlos und Open Source unter Apache 2.0. Du zahlst nur für die Modellaufrufe, die ein Scan auslöst.
Unseren Test von garak lesen
4.3/5
5
LiteLLM
Das Standard-Gateway zum Selbsthosten für Teams, die eine API, Budgets pro Team und Fallbacks über viele Anbieter brauchen, sofern sie Versionen festschreiben und es als sicherheitskritische Infrastruktur behandeln.
Am besten für: Plattformteams, die vielen Entwicklern von der eigenen Infrastruktur aus kontrollierten Zugang zu vielen Modellanbietern geben müssen.
Preis: Kostenlos und Open Source unter MIT, außer dem Ordner enterprise/, der unter einer separaten kommerziellen Lizenz steht. Enterprise nach Vereinbarung, mit einem kostenlosen Test-Key für 30 Tage.
Unseren Test von LiteLLM lesen
4.3/5
6
Arize Phoenix
Phoenix hat unter den offenen Tracing-Tools den stärksten Evaluationskreislauf, verpackt in eine Lizenz und einen Eigentümer, über die Rechtsabteilungen reden wollen werden.
Am besten für: Engineers und Data Scientists, die standardbasiertes Tracing mit starkem Evaluationskreislauf wollen, beginnend auf dem Laptop.
Preis: Kostenlos selbst zu hosten unter der Elastic License 2.0 (Source-available; kein Hosting als Dienst für andere). Verwaltetes Arize AX: Free (25.000 Spans/Monat, 15 Tage Aufbewahrung, 1 GB); Pro 50 $/Monat (50.000 Spans, 30 Tage, 10 GB); Enterprise nach Vereinbarung.
Unseren Test von Arize Phoenix lesen
4.2/5
7
PyRIT
PyRIT automatisiert die langsamen, eskalierenden Unterhaltungen, an denen Chatbots zerbrechen, vorausgesetzt, jemand im Team schreibt das Python, das es steuert.
Am besten für: Security Engineers, die Chatbots und Agenten gründlich per Red Teaming prüfen müssen, einschließlich Eskalation über mehrere Runden und Web-Frontends.
Preis: Kostenlos und Open Source unter MIT. Bezahlt werden die Modellaufrufe, die Angriffe und LLM-basierte Scorer verursachen.
Unseren Test von PyRIT lesen
4.2/5
8
NVIDIA OpenShell
Eine schwergewichtige Agenten-Sandbox für Agenten, die du unbeaufsichtigt laufen lässt, nicht für solche, denen du dabei zusiehst.
Am besten für: Teams, die Agenten unbeaufsichtigt oder mit nicht vertrauenswürdigem Code betreiben und Netzwerkregeln pro Host und pro Methode brauchen.
Preis: Kostenlos und Open Source unter Apache 2.0.
Unseren Test von NVIDIA OpenShell lesen
4.1/5
9
OpenLLMetry
Instrumentiere LLM-Aufrufe einmal in Standard-OpenTelemetry und behalte die freie Wahl des Backends, nachdem du zuerst zwei Voreinstellungen geändert hast, die vollständige Prompts an die Cloud von Traceloop schicken.
Am besten für: Teams mit OpenTelemetry als Standard, die LLM-Traces ohne Hersteller-SDK in ihrem bestehenden Observability-Stack wollen.
Preis: Kostenlos und Open Source unter Apache 2.0. Die gehostete Plattform von Traceloop, inzwischen im Besitz von ServiceNow: Free bis 50.000 Spans im Monat mit 24 Stunden Aufbewahrung; Enterprise (SOC 2, On-Premises) auf Angebot.
Unseren Test von OpenLLMetry lesen
4.1/5
10
OpenSandbox
Eine selbst gehostete Antwort auf gehostete Code-Sandboxes, die den Aufwand mit Kubernetes lohnt, wenn du Tausende kurzlebige Agenten-Umgebungen auf eigenen Maschinen brauchst.
Am besten für: Plattform-Teams, die Agenten-Evaluierungen, RL-Rollouts oder mandantenfähige Code-Ausführung betreiben und Sandboxes auf eigener Infrastruktur wollen.
Preis: Kostenlos und Open Source unter Apache 2.0; keine kostenpflichtige Edition der Maintainer.
Unseren Test von OpenSandbox lesen
4.1/5
11
Opik
Opik verschenkt den ganzen Server unter Apache 2.0 und verkauft den günstigsten gehosteten Plan, aber die selbst gehostete Version hat keine Benutzerkonten und meldet sich standardmäßig beim Hersteller.
Am besten für: Teams, die eine permissiv lizenzierte, selbst hostbare Plattform für Tracing und Evaluierung wollen oder eine günstige gehostete.
Preis: Kostenlos und Open Source unter Apache 2.0. Cloud: Free (25.000 Spans/Monat, 60 Tage Aufbewahrung); Pro 19 $/Monat (100.000 Spans, danach 5 $ pro 100.000; Add-on für 400 Tage Aufbewahrung 29 $ pro 100.000 Spans); Enterprise nach Vereinbarung.
Unseren Test von Opik lesen
4.1/5
12
SkillSpector
Der Skill-Scanner, den du deinen Installationen vorschalten solltest, solange du nicht vergisst, dass seine LLM-Stufe die Dateien des Skills an build.nvidia.com schickt, wenn du nicht den Anbieter wechselst oder --no-llm setzt.
Am besten für: Teams, die Agent Skills installieren oder veröffentlichen und eine statische Schranke in CI wollen, mit optionaler Prüfung durch ein Modell, ohne sich bei einem Sicherheitsanbieter anzumelden.
Preis: Kostenlos und Open Source unter Apache 2.0. Die LLM-Analyse läuft über dein eigenes Anbieterkonto (standardmäßig build.nvidia.com) oder ein lokales Modell über Ollama.
Unseren Test von SkillSpector lesen
4.1/5
13
ToolHive
Scanner sagen dir, ob ein MCP-Server gefährlich aussieht; ToolHive begrenzt, was er anrichten kann, wenn er es ist.
Am besten für: Plattform- und Sicherheitsteams, die MCP-Server unternehmensweit betreiben, eindämmen und prüfen müssen.
Preis: Open Source unter Apache 2.0; Stacklok Enterprise bringt zusätzliche Funktionen und Support, Preise auf Anfrage.
Unseren Test von ToolHive lesen
4.1/5
14
NVIDIA NeMo Guardrails
NeMo Guardrails ist die breiteste offene Richtlinienschicht für Agenten und lässt sich diese Breite mit Konfigurationsaufwand, Latenz und einem Changelog voller Breaking Changes bezahlen.
Am besten für: Teams, die Agenten oder Assistenten für Kunden bauen und eine konfigurierbare Richtlinienschicht um jeden Modell- und Tool-Aufruf brauchen.
Preis: Kostenlos und Open Source unter Apache 2.0. NVIDIAs NemoGuard-Modelle und NIM-Microservices werden separat vertrieben.
Unseren Test von NVIDIA NeMo Guardrails lesen
4.0/5
15
Bifrost
Ein schnelles Gateway unter Apache-Lizenz mit Budgets schon im kostenlosen Build, das eine Sicherheitsvoreinstellung im Stich lässt, durch die seine Admin-API bis September 2026 offen stand.
Am besten für: Teams mit hohem Anfragevolumen oder Go-Shops, die ein Gateway unter Apache-Lizenz mit Budgets wollen und bereit sind, seine Admin-API abzusichern.
Preis: Kostenlos und Open Source unter Apache 2.0. Enterprise wird individuell bepreist, mit einer kostenlosen Testphase von 14 Tagen; der Preis ist nicht veröffentlicht.
Unseren Test von Bifrost lesen
3.9/5
16
DeepTeam
Der breiteste Katalog an Agenten- und Anwendungsschwachstellen in einer offenen Red-Teaming-Bibliothek, doch jedes Urteil beruht auf einem LLM-Judge, den du überprüfen musst.
Am besten für: Python-Teams, die Agenten bauen und eine an OWASP ausgerichtete Red-Team-Abdeckung wollen, die sie lokal ausführen können.
Preis: Kostenlos und Open Source unter Apache 2.0. Die Plattform von Confident AI reicht von einer kostenlosen Stufe bis zu 200 $ und 2.000 $ im Monat; ihr Red-Teaming-Modul ist ein Enterprise-Zusatz mit individuellem Preis.
Unseren Test von DeepTeam lesen
3.9/5
17
OpenConnector
OpenConnector ist eine glaubwürdige selbst gehostete Antwort auf Composio, mit Zugangsdaten hinter einem Gateway, aber seine Lizenz wurde gerade verschärft, und OAuth-Anbieter bedeuten weiterhin, eigene Apps zu registrieren.
Am besten für: Teams, die Agentenprodukte bauen und eine selbst gehostete Grenze für Zugangsdaten und einen großen Connector-Katalog wollen, ohne sich auf eine geschlossene Integrationsplattform einzulassen.
Preis: Selbst hosten ist kostenlos unter der OpenConnector License (modifizierte Apache 2.0). Von OOMOL gehostet: 20.000 kostenlose App-Tool-Aufrufe im Monat, danach 0,0003 Credits pro Aufruf; der Preis eines Credits ist nicht veröffentlicht.
Unseren Test von OpenConnector lesen
3.8/5
18
Snyk Agent Scan
Eine vernünftige erste Prüfung der MCP-Server und Skills, denen deine Agenten vertrauen, sofern du akzeptierst, ihre Beschreibungen an Snyk zu schicken, und nicht vertrauenswürdige Konfigurationen in einer Sandbox scannst.
Am besten für: Teams, die Entwickler oder Agenten MCP-Server und Skills installieren lassen und vor dem Vertrauen eine Lieferkettenprüfung wollen.
Preis: Kostenlos und Open Source unter Apache 2.0; braucht ein Snyk-Konto und ein API-Token. Flottenweites Scannen im Hintergrund berichtet an Snyk Evo, Preis auf Anfrage.
Unseren Test von Snyk Agent Scan lesen
3.8/5
19
vLLM Semantic Router
Ein ehrgeiziger offener Router, der pro Anfrage das Modell wählt, geeignet für Teams, die bereits vLLM betreiben und ein schnelllebiges Projekt verkraften können.
Am besten für: Teams, die mehrere Modelle bereitstellen, oft auf einer eigenen vLLM-Flotte, mit genug vielfältigem Traffic, um die Modellwahl pro Anfrage zu rechtfertigen.
Preis: Kostenlos und Open Source unter Apache 2.0. Kein gehosteter bezahlter Dienst.
Unseren Test von vLLM Semantic Router lesen
3.8/5
20
Cisco Skill Scanner
Lohnt sich vor deinem Skills-Repo, solange du seinen eigenen Zahlen glaubst: Er fängt das Offensichtliche, nicht alles.
Am besten für: Teams mit einem internen Skills-Repository, die eine Scan-Schranke wollen, bevor etwas bei Entwicklern ankommt.
Preis: Kostenlos unter Apache 2.0; optionale LLM- und Cloud-Analysen rechnen über ihre eigenen Anbieter ab.
Unseren Test von Cisco Skill Scanner lesen
3.7/5
21
Portkey AI Gateway
Ein sauberer Router unter MIT-Lizenz, der seit der Übernahme durch Palo Alto Networks stillsteht; heute gut zu betreiben, schwer als Grundlage für eine Roadmap.
Am besten für: Teams auf Edge-Laufzeiten oder Unternehmen, die schon Sicherheitsprodukte von Palo Alto kaufen und eine schlanke Routing-Schicht wollen.
Preis: Kostenlos und Open Source unter MIT. Gehostete Pläne: Developer kostenlos (10.000 aufgezeichnete Logs im Monat, 3 Tage Log-Aufbewahrung); Production 49 $/Monat (100.000 Logs, danach 9 $ pro 100.000); Enterprise nach Vereinbarung.
Unseren Test von Portkey AI Gateway lesen
3.7/5
22
McpMux
Eine aufgeräumte Lösung dafür, dieselbe MCP-Konfiguration und dieselben API-Schlüssel nicht in vier Clients kopieren zu müssen, noch so jung, dass man fast täglich einen neuen Build erwarten sollte.
Am besten für: Entwickler, die mehrere MCP-Clients auf einem Rechner nutzen und es leid sind, Konfigurationen und Schlüssel synchron zu halten.
Preis: Kostenlos und quelloffen unter GPL-3.0; keine bezahlten Pläne veröffentlicht.
Unseren Test von McpMux lesen
3.6/5
23
W&B Weave
Lohnt sich einzuschalten, wenn deine Modelle bereits in Weights & Biases liegen; bei 0,10 $ pro Megabyte schwer zu verkaufen an alle, die neu anfangen.
Am besten für: Teams, die Weights & Biases bereits fürs Modelltraining nutzen und LLM-Traces und Evaluierungen am selben Ort wollen.
Preis: SDK kostenlos unter Apache 2.0. Gehostet: Free (1 GB Weave-Datenaufnahme pro Monat); Pro ab 60 $ pro Monat (1,5 GB, danach 0,10 $ pro MB); Enterprise individuell (0,20 $ pro MB Mehrverbrauch laut Liste), mit dediziertem Deployment.
Unseren Test von W&B Weave lesen
3.6/5
24
Free Claude Code
Ein fähiger Modell-Router hinter einem irreführenden Namen, der ab Werk im ganzen Netzwerk lauscht und die Authentifizierung ausgeschaltet hat.
Am besten für: Hobbyisten und Studierende, die Claude Code oder Codex mit kostenlosen und lokalen Modellen betreiben wollen.
Preis: Kostenlos und Open Source unter AGPL-3.0. Die Modellkosten hängen von den angebundenen Anbietern ab; viele haben kostenlose Stufen mit Rate Limits.
Unseren Test von Free Claude Code lesen
3.4/5
25
Guardrails AI
Eine gute Idee ohne Besitzer: Der Apache-2.0-Code läuft noch, aber niemand mergt Korrekturen, und die gehosteten Teile sind weg.
Am besten für: Bestehende Nutzer mit deterministischen Validatoren, die Versionen festschreiben und selbst patchen können.
Preis: Kostenlos und Open Source unter Apache 2.0. Die gehostete Hub-Registry und die kostenlose entfernte Inferenz wurden am 25. August 2026 geschlossen.
Unseren Test von Guardrails AI lesen
3.2/5