Betrieb und Deployment
Fine-Tuning, Bereitstellen und Hosten von Modellen und was die Begriffe zu Hardware und Preisen bedeuten.
- API-Schlüssel
- Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.
- Batch-API
- Eine Batch-API lässt dich eine große Menge an Modellanfragen in einem Job einreichen und die Ergebnisse später abholen, statt auf jeden Aufruf zu warten. Anbieter führen den Job aus, wenn Kapazität frei ist, und verlangen dafür meist weniger.
- Continuous Batching
- Continuous Batching (kontinuierliches Batching) ist eine Technik beim Model Serving, die nach jedem Generierungsschritt neue Anfragen in den laufenden GPU-Batch aufnimmt und fertige entfernt, statt zu warten, bis ein ganzer Batch abgeschlossen ist. So bleibt die GPU ausgelastet und der Durchsatz steigt.
- CPU-Offloading
- CPU-Offloading (Auslagerung auf die CPU) betreibt ein Modell, das nicht in den GPU-Speicher passt, indem ein Teil seiner Schichten im Arbeitsspeicher oder auf der Festplatte bleibt und die GPU den Rest übernimmt. Das Modell läuft, aber langsamer.
- Direct Preference Optimization
- Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
- Fine-Tuning
- Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
- GPU
- Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
- GPU-Cloud
- Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
- Inferenz
- Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
- Inferenzanbieter
- Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
- KI-Trainingsdaten
- KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
- KV-Cache
- Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
- Lokales LLM
- Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
- LoRA
- LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die die ursprünglichen Gewichte eines Modells einfriert und kleine Matrizen mit niedrigem Rang trainiert, die zu seinen Schichten addiert werden. So ändern sich viel weniger Parameter, und es wird viel weniger GPU-Speicher gebraucht.
- Model Serving
- Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
- Modell-Fallback
- Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
- NPU
- Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.
- Numerische Präzision (FP16, BF16, FP8)
- Numerische Präzision ist das Zahlenformat, in dem die Gewichte eines Modells gespeichert und seine Berechnungen ausgeführt werden, etwa FP32, FP16, BF16, FP8 oder INT4. Weniger Bits pro Zahl bedeuten weniger Speicher und schnellere Inferenz, mit gewissem Risiko für die Genauigkeit.
- OpenAI-kompatible API
- Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
- PagedAttention
- PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
- Parametereffizientes Fine-Tuning
- Parametereffizientes Fine-Tuning (PEFT) passt ein vortrainiertes Modell an, indem nur eine kleine Zahl neuer oder ausgewählter Parameter trainiert wird, während der Rest eingefroren bleibt. Es senkt den Bedarf an Speicher, Rechenleistung und Speicherplatz, den volles Fine-Tuning hat.
- Prompt Caching
- Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
- Rate Limit (API)
- Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.
- Reward Model
- Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.
- RLHF
- RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
- Self-Hosting (KI-Modelle)
- Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
- Semantic Cache
- Ein Semantic Cache (semantischer Cache) speichert frühere LLM-Antworten und gibt eine davon zurück, wenn eine neue Anfrage ungefähr dasselbe meint wie eine frühere, beurteilt nach Embedding-Ähnlichkeit statt nach exakter Textübereinstimmung. Er spart bei wiederholten Fragen Kosten und Latenz.
- Serverless GPU
- Serverless GPU ist ein Cloud-Modell, bei dem du Code oder ein Modell bereitstellst und die Plattform GPU-Worker erst startet, wenn Anfragen ankommen. Abgerechnet wird die Laufzeit, und im Leerlauf wird auf null skaliert.
- Speculative Decoding
- Speculative Decoding (spekulatives Dekodieren) beschleunigt die Textgenerierung, indem ein kleines, schnelles Draft-Modell mehrere Tokens vorschlägt, die das große Modell dann in einem einzigen Durchlauf prüft und die akzeptierten behält. Die Ausgabe entspricht der, die das große Modell allein erzeugen würde.
- Streaming (LLM-Ausgabe)
- Streaming schickt die Ausgabe eines LLM Stück für Stück an den Client, während die Tokens erzeugt werden, statt auf die vollständige Antwort zu warten. Nutzer sehen innerhalb von Augenblicken Text erscheinen, auch wenn die ganze Antwort viel länger dauert.
- Supervised Fine-Tuning
- Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
- Synthetische Daten
- Synthetische Daten sind Trainings- oder Testdaten, die von Software erzeugt werden, oft von einem anderen KI-Modell, statt aus realen Quellen gesammelt zu werden. Sie dienen dazu, Lücken zu füllen, günstig Beispiele hinzuzufügen oder echte personenbezogene Daten nicht offenzulegen.
- Tensor-Parallelismus
- Tensor-Parallelismus (Tensor Parallelism) teilt jede Schicht eines neuronalen Netzes auf mehrere GPUs auf, sodass jede GPU einen Teil jeder Gewichtsmatrix hält und ihren Anteil an jedem Schritt berechnet. So kann ein Modell, das für eine GPU zu groß ist, über viele verteilt laufen.
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
- Token-Preise
- Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
- Tokens pro Sekunde
- Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
- TPU
- Eine TPU (Tensor Processing Unit) ist Googles eigener Chip für Machine Learning, gebaut um große Einheiten für Matrixmultiplikation und Speicher mit hoher Bandbreite. Google bietet TPUs anderen Unternehmen als Mietdienst über Google Cloud an.
- Unified Memory
- Unified Memory (gemeinsamer Arbeitsspeicher) ist ein Aufbau, bei dem CPU und GPU einen gemeinsamen Speicherpool teilen, statt jeweils einen eigenen zu haben. Auf Macs mit Apple Silicon und ähnlichen Chips kann ein lokales KI-Modell so den Großteil des System-RAM als GPU-Speicher nutzen.
- VRAM
- VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.