Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

LLM-Observability

LLM-Observability (Beobachtbarkeit von LLM-Anwendungen) heißt, aufzuzeichnen, was eine KI-Anwendung im Betrieb tut, darunter Prompts, Antworten, Tool-Aufrufe, Latenz, Token-Verbrauch und Kosten, und zwar als durchsuchbare Traces. So kannst du Fehler debuggen und sehen, wie sich das System über die Zeit verhält.

Auch: tracing, LLM monitoring, LLM tracing, traces, spans

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Ein normaler Webdienst scheitert laut: eine Exception, ein 500-Fehler. Eine LLM-Anwendung scheitert oft leise, mit einer selbstsicheren falschen Antwort oder einem Agenten, der viele Tool-Aufrufe durchläuft, bevor er aufgibt. Observability-Tools erfassen genug Details, um zu sehen, was passiert ist und warum.

LLM-Tracing

Die Grundeinheit ist der Trace. OpenTelemetry, ein offener Standard, den viele dieser Tools unterstützen, definiert einen Trace als den Weg einer Anfrage durch eine Anwendung und einen Span als eine Arbeitseinheit darin. In einer LLM-App wird aus einer Nutzerfrage ein Trace, und seine Spans können die Retrieval-Abfrage, der Reranker, jeder Modellaufruf und jeder Tool-Aufruf sein, verschachtelt in der Reihenfolge, in der sie liefen. Jeder Span speichert seine Eingaben, Ausgaben, Zeiten und Attribute wie Modellname und Token-Zahlen. OpenTelemetry pflegt außerdem semantische Konventionen für generative KI, damit verschiedene Tools diese Felder gleich benennen.

Was Teams damit machen

Eine einzelne schlechte Antwort debuggen, indem man den ganzen Trace liest. Langsame Schritte und steigende Token-Kosten erkennen. Fehler gruppieren, um Muster zu finden. Nutzerfeedback an Traces hängen und echte Fehler in Testfälle für LLM-Evaluation und Regressionstests verwandeln. Viele Plattformen verbinden Tracing mit Evals, zum Beispiel Langfuse, Arize Phoenix und LangSmith. Der Leitfaden zur Observability-Stufe vergleicht sie.

Grenzen und Vorsicht

Traces speichern alles, was Nutzer eingegeben haben, und das sind oft persönliche oder vertrauliche Daten. Wende deshalb PII-Schwärzung und Zugriffskontrollen auf sie an, wie du es bei einer Produktionsdatenbank tun würdest. Jedes Token jeder Anfrage zu loggen kostet außerdem Speicher, daher nehmen Teams bei viel Verkehr nur Stichproben.

Verwandte Begriffe

LLM-Evaluierung
LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
Regressionstests (LLM-Apps)
Regressionstests für LLM-Apps bedeuten, nach jeder Änderung an Prompt, Modell, Retrieval-Setup oder Tool einen festen Satz von Evaluationsfällen erneut laufen zu lassen, um Fälle zu finden, die früher funktionierten und jetzt scheitern.
LLM-Gateway
Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
Token-Preise
Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
PII-Schwärzung
PII-Schwärzung (PII Redaction) ist das Erkennen und Entfernen oder Maskieren personenbezogener Daten wie Namen, Telefonnummern, Adressen und Kartennummern in Texten oder Bildern, bevor sie an ein Modell geschickt, in Logs gespeichert oder anderen gezeigt werden.

Quellen