Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

OpenAI-kompatible API

Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.

Auch: OpenAI compatible endpoint

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Das Chat-Completions-Format von OpenAI wurde zum üblichen Weg, mit Sprachmodellen zu sprechen. Viele andere Dienste haben es übernommen, damit Entwickler ihren Code nicht neu schreiben müssen. Open-Source-Server wie vLLM, Ollama und llama.cpp bieten es an, ebenso viele Inferenzanbieter und LLM-Gateways wie OpenRouter und LiteLLM.

Wie es in der Praxis funktioniert

Du nutzt weiter eine OpenAI-Client-Bibliothek und richtest sie auf ein anderes Ziel. Für einen lokalen Ollama-Server setzt die Dokumentation die Base-URL auf `http://localhost:11434/v1/`; bei vLLM läuft der Server auf einem Port deiner Wahl. Dann übergibst du den Modellnamen dieses Dienstes. Der Anfragekörper (Nachrichten, Temperature, maximale Tokens) und die Form der Antwort bleiben gleich, was es leicht macht, Modelle zu vergleichen oder zwischen Anbietern zu wechseln.

Kompatibel ist nicht identisch

Kompatibilität umfasst meist die zentralen Text-Endpunkte und nicht alles andere. Laut Dokumentation von Ollama unterstützt es eine Teilmenge der OpenAI-API. Häufige Lücken sind Optionen für Structured Output, Details beim Function Calling, Bild- oder Audioeingaben, neuere Endpunkte, Fehlercodes und Nutzungsfelder wie gecachte Tokens. Parameter werden womöglich angenommen, aber ignoriert. Teste die Funktionen, auf die du dich verlässt, mit jedem Backend, statt anzunehmen, dass sie sich wie bei OpenAI verhalten.

Sicherheit

Ein selbst gehosteter kompatibler Server ist ein echter Netzwerkdienst. Die Dokumentation von vLLM warnt, dass seine Option für API-Schlüssel nicht jeden Endpunkt schützt. Stell solche Server also hinter eine richtige Authentifizierung und mach sie nicht direkt aus dem Internet erreichbar.

Verwandte Begriffe

LLM-Gateway
Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
API-Schlüssel
Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.
Tool Calling
Tool Calling, auch Function Calling (Funktionsaufruf) genannt, ist eine Funktion von Modell-APIs, bei der du Funktionen mit einem Schema beschreibst, das Modell mit einer strukturierten Anfrage antwortet, eine davon aufzurufen, und dein Code sie ausführt und das Ergebnis zurückgibt.

Quellen