OpenAI-kompatible API
Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
Auch: OpenAI compatible endpoint
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Das Chat-Completions-Format von OpenAI wurde zum üblichen Weg, mit Sprachmodellen zu sprechen. Viele andere Dienste haben es übernommen, damit Entwickler ihren Code nicht neu schreiben müssen. Open-Source-Server wie vLLM, Ollama und llama.cpp bieten es an, ebenso viele Inferenzanbieter und LLM-Gateways wie OpenRouter und LiteLLM.
Wie es in der Praxis funktioniert
Du nutzt weiter eine OpenAI-Client-Bibliothek und richtest sie auf ein anderes Ziel. Für einen lokalen Ollama-Server setzt die Dokumentation die Base-URL auf `http://localhost:11434/v1/`; bei vLLM läuft der Server auf einem Port deiner Wahl. Dann übergibst du den Modellnamen dieses Dienstes. Der Anfragekörper (Nachrichten, Temperature, maximale Tokens) und die Form der Antwort bleiben gleich, was es leicht macht, Modelle zu vergleichen oder zwischen Anbietern zu wechseln.
Kompatibel ist nicht identisch
Kompatibilität umfasst meist die zentralen Text-Endpunkte und nicht alles andere. Laut Dokumentation von Ollama unterstützt es eine Teilmenge der OpenAI-API. Häufige Lücken sind Optionen für Structured Output, Details beim Function Calling, Bild- oder Audioeingaben, neuere Endpunkte, Fehlercodes und Nutzungsfelder wie gecachte Tokens. Parameter werden womöglich angenommen, aber ignoriert. Teste die Funktionen, auf die du dich verlässt, mit jedem Backend, statt anzunehmen, dass sie sich wie bei OpenAI verhalten.
Sicherheit
Ein selbst gehosteter kompatibler Server ist ein echter Netzwerkdienst. Die Dokumentation von vLLM warnt, dass seine Option für API-Schlüssel nicht jeden Endpunkt schützt. Stell solche Server also hinter eine richtige Authentifizierung und mach sie nicht direkt aus dem Internet erreichbar.
Verwandte Begriffe
- LLM-Gateway
- Ein LLM-Gateway ist ein Proxy-Server zwischen deinen Anwendungen und Modellanbietern, der eine einzige API bereitstellt und Schlüssel, Routing, Fallbacks, Rate Limits, Protokollierung und Kostenerfassung an einer Stelle übernimmt.
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- Inferenzanbieter
- Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
- API-Schlüssel
- Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.
- Tool Calling
- Tool Calling, auch Function Calling (Funktionsaufruf) genannt, ist eine Funktion von Modell-APIs, bei der du Funktionen mit einem Schema beschreibst, das Modell mit einer strukturierten Anfrage antwortet, eine davon aufzurufen, und dein Code sie ausführt und das Ergebnis zurückgibt.