Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Betrieb und Deployment

Fine-Tuning, Bereitstellen und Hosten von Modellen und was die Begriffe zu Hardware und Preisen bedeuten.

API-Schlüssel
Ein API-Schlüssel (API Key) ist eine geheime Zeichenkette, die eine Anwendung mit jeder Anfrage mitschickt, damit ein Dienst erkennt, welches Konto anfragt, dessen Limits anwendet und es abrechnet. Wer den Schlüssel besitzt, kann ihn in der Regel nutzen.
Batch-API
Eine Batch-API lässt dich eine große Menge an Modellanfragen in einem Job einreichen und die Ergebnisse später abholen, statt auf jeden Aufruf zu warten. Anbieter führen den Job aus, wenn Kapazität frei ist, und verlangen dafür meist weniger.
Continuous Batching
Continuous Batching (kontinuierliches Batching) ist eine Technik beim Model Serving, die nach jedem Generierungsschritt neue Anfragen in den laufenden GPU-Batch aufnimmt und fertige entfernt, statt zu warten, bis ein ganzer Batch abgeschlossen ist. So bleibt die GPU ausgelastet und der Durchsatz steigt.
CPU-Offloading
CPU-Offloading (Auslagerung auf die CPU) betreibt ein Modell, das nicht in den GPU-Speicher passt, indem ein Teil seiner Schichten im Arbeitsspeicher oder auf der Festplatte bleibt und die GPU den Rest übernimmt. Das Modell läuft, aber langsamer.
Direct Preference Optimization
Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
Fine-Tuning
Fine-Tuning (Feinabstimmung) ist das Weitertrainieren eines vortrainierten Modells auf einem kleineren, aufgabenspezifischen Datensatz, damit das Modell eine bestimmte Fähigkeit, ein Format, einen Ton oder ein Fachgebiet übernimmt, ohne von Grund auf trainiert zu werden.
GPU
Eine GPU (Graphics Processing Unit, Grafikprozessor) ist ein Prozessor mit vielen kleinen Kernen, der dafür gebaut ist, viele Berechnungen parallel auszuführen. Ihr Tempo bei Matrixrechnungen macht sie zur Standardhardware für Training und Betrieb von KI-Modellen.
GPU-Cloud
Eine GPU-Cloud ist ein Dienst, der GPU-Maschinen stunden- oder sekundenweise für KI-Training, Fine-Tuning und Inferenz vermietet. Spezialisierte Anbieter, manchmal Neoclouds genannt, konzentrieren sich auf GPUs und verlangen oft weniger als die großen allgemeinen Clouds.
Inferenz
Inferenz (Inference) bedeutet, ein trainiertes Modell auszuführen, um aus neuen Eingaben eine Ausgabe zu erzeugen, etwa wenn ein LLM eine Antwort auf einen Prompt generiert. Es ist die Phase, für die Nutzer bei jedem Modellaufruf zahlen, im Gegensatz zum Training.
Inferenzanbieter
Ein Inferenzanbieter (Inference Provider) ist ein Unternehmen, das KI-Modelle auf eigener Hardware betreibt und den Zugang über eine API verkauft, meist pro Token abgerechnet. Du schickst Prompts und bekommst Ausgaben, ohne selbst GPUs zu verwalten.
KI-Trainingsdaten
KI-Trainingsdaten (AI Training Data) sind die Sammlung von Beispielen, aus denen ein Modell lernt, etwa Webtext, Code, Bilder, Transkripte oder gelabelte Paare. Ihre Größe, Qualität, Mischung und Lizenzierung bestimmen, was das Modell kann und wo es scheitert.
KV-Cache
Ein KV-Cache speichert die Attention-Keys und -Values, die ein Transformer für frühere Tokens bereits berechnet hat, sodass jedes neue Token nur Arbeit für sich selbst braucht. Er beschleunigt die Generierung, belegt aber GPU-Speicher, der mit der Kontextlänge wächst.
Lokales LLM
Ein lokales LLM ist ein Sprachmodell, das auf deinem eigenen Computer, Smartphone oder Server läuft statt über die Cloud-API eines Anbieters. Prompts und Daten bleiben so auf deiner Hardware, und es funktioniert ohne Internetverbindung.
LoRA
LoRA (Low-Rank Adaptation) ist eine Fine-Tuning-Methode, die die ursprünglichen Gewichte eines Modells einfriert und kleine Matrizen mit niedrigem Rang trainiert, die zu seinen Schichten addiert werden. So ändern sich viel weniger Parameter, und es wird viel weniger GPU-Speicher gebraucht.
Model Serving
Model Serving (Modellbereitstellung) heißt, ein trainiertes Modell als Dienst zu betreiben, den Anwendungen über ein Netzwerk aufrufen, mit Software, die die Gewichte auf GPUs lädt, Anfragen in Warteschlangen und Batches ordnet, den Speicher verwaltet und Ergebnisse zurückgibt.
Modell-Fallback
Ein Modell-Fallback ist eine Regel, die eine Anfrage an ein Ersatzmodell oder einen Ersatzanbieter schickt, wenn die erste Wahl scheitert, in ein Timeout läuft, ein Rate Limit erreicht oder die Eingabe ablehnt. So bleibt eine KI-Funktion auch bei Ausfällen nutzbar.
NPU
Eine NPU (Neural Processing Unit) ist ein Chip oder ein Block in einem größeren Chip, der dafür gebaut ist, die Mathematik neuronaler Netze schnell und mit wenig Strom auszuführen. Smartphones und Laptops nutzen NPUs, um kleine KI-Modelle auf dem Gerät laufen zu lassen.
Numerische Präzision (FP16, BF16, FP8)
Numerische Präzision ist das Zahlenformat, in dem die Gewichte eines Modells gespeichert und seine Berechnungen ausgeführt werden, etwa FP32, FP16, BF16, FP8 oder INT4. Weniger Bits pro Zahl bedeuten weniger Speicher und schnellere Inferenz, mit gewissem Risiko für die Genauigkeit.
OpenAI-kompatible API
Eine OpenAI-kompatible API ist ein Endpunkt eines anderen Anbieters oder Tools, der dasselbe Anfrage- und Antwortformat wie die API von OpenAI annimmt. Code, der für OpenAI geschrieben wurde, kann also darauf umsteigen, indem man Base-URL, Schlüssel und Modellnamen ändert.
PagedAttention
PagedAttention ist eine Methode, den KV-Cache eines Sprachmodells in kleinen Blöcken fester Größe zu speichern, die im GPU-Speicher nicht nebeneinanderliegen müssen, wie Seiten in einem Betriebssystem. Sie verringert verschwendeten Speicher, sodass ein Server mehr Anfragen gleichzeitig bearbeiten kann.
Parametereffizientes Fine-Tuning
Parametereffizientes Fine-Tuning (PEFT) passt ein vortrainiertes Modell an, indem nur eine kleine Zahl neuer oder ausgewählter Parameter trainiert wird, während der Rest eingefroren bleibt. Es senkt den Bedarf an Speicher, Rechenleistung und Speicherplatz, den volles Fine-Tuning hat.
Prompt Caching
Prompt Caching ist eine API-Funktion, die die verarbeitete Form eines wiederholten Prompt-Präfixes speichert, etwa eines langen System-Prompts oder Dokuments, sodass spätere Anfragen mit demselben Präfix günstiger und schneller sind.
Rate Limit (API)
Ein Rate Limit (Ratenbegrenzung) begrenzt, wie stark ein Konto eine API in einem Zeitfenster nutzen darf, typischerweise als Anfragen pro Minute (RPM) und Tokens pro Minute (TPM). Anfragen über der Grenze werden abgewiesen, meist mit einem HTTP-Fehler 429.
Reward Model
Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.
RLHF
RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
Self-Hosting (KI-Modelle)
Ein KI-Modell selbst zu hosten (Self-Hosting) heißt, es auf Hardware zu betreiben, die du kontrollierst, etwa eigenen Servern, gemieteten GPUs oder einem Laptop, statt die API eines Anbieters aufzurufen. Du wählst das Modell und behältst die Daten, betreibst aber die Infrastruktur.
Semantic Cache
Ein Semantic Cache (semantischer Cache) speichert frühere LLM-Antworten und gibt eine davon zurück, wenn eine neue Anfrage ungefähr dasselbe meint wie eine frühere, beurteilt nach Embedding-Ähnlichkeit statt nach exakter Textübereinstimmung. Er spart bei wiederholten Fragen Kosten und Latenz.
Serverless GPU
Serverless GPU ist ein Cloud-Modell, bei dem du Code oder ein Modell bereitstellst und die Plattform GPU-Worker erst startet, wenn Anfragen ankommen. Abgerechnet wird die Laufzeit, und im Leerlauf wird auf null skaliert.
Speculative Decoding
Speculative Decoding (spekulatives Dekodieren) beschleunigt die Textgenerierung, indem ein kleines, schnelles Draft-Modell mehrere Tokens vorschlägt, die das große Modell dann in einem einzigen Durchlauf prüft und die akzeptierten behält. Die Ausgabe entspricht der, die das große Modell allein erzeugen würde.
Streaming (LLM-Ausgabe)
Streaming schickt die Ausgabe eines LLM Stück für Stück an den Client, während die Tokens erzeugt werden, statt auf die vollständige Antwort zu warten. Nutzer sehen innerhalb von Augenblicken Text erscheinen, auch wenn die ganze Antwort viel länger dauert.
Supervised Fine-Tuning
Supervised Fine-Tuning (SFT, überwachtes Feinabstimmen) trainiert ein vortrainiertes Modell weiter mit Beispiel-Prompts, die mit den gewünschten Antworten gepaart sind. Es ist der übliche erste Schritt, der aus einem Basismodell eines macht, das Anweisungen befolgt.
Synthetische Daten
Synthetische Daten sind Trainings- oder Testdaten, die von Software erzeugt werden, oft von einem anderen KI-Modell, statt aus realen Quellen gesammelt zu werden. Sie dienen dazu, Lücken zu füllen, günstig Beispiele hinzuzufügen oder echte personenbezogene Daten nicht offenzulegen.
Tensor-Parallelismus
Tensor-Parallelismus (Tensor Parallelism) teilt jede Schicht eines neuronalen Netzes auf mehrere GPUs auf, sodass jede GPU einen Teil jeder Gewichtsmatrix hält und ihren Anteil an jedem Schritt berechnet. So kann ein Modell, das für eine GPU zu groß ist, über viele verteilt laufen.
Time to First Token
Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
Token-Preise
Token-Preise (Token Pricing) sind die Art, wie die meisten APIs für KI-Modelle abrechnen: ein fester Preis pro Million Input-Tokens, die du schickst, und ein separater, meist höherer Preis pro Million Output-Tokens, die das Modell erzeugt, mit Rabatten für gecachten Input und Batch-Jobs.
Tokens pro Sekunde
Tokens pro Sekunde (tok/s) misst, wie schnell ein Sprachmodell Ausgabe erzeugt. Angegeben wird der Wert entweder pro Nutzer, also die Geschwindigkeit, mit der eine Antwort gestreamt wird, oder pro System, also die gesamte Ausgabe über alle gleichzeitigen Anfragen.
TPU
Eine TPU (Tensor Processing Unit) ist Googles eigener Chip für Machine Learning, gebaut um große Einheiten für Matrixmultiplikation und Speicher mit hoher Bandbreite. Google bietet TPUs anderen Unternehmen als Mietdienst über Google Cloud an.
Unified Memory
Unified Memory (gemeinsamer Arbeitsspeicher) ist ein Aufbau, bei dem CPU und GPU einen gemeinsamen Speicherpool teilen, statt jeweils einen eigenen zu haben. Auf Macs mit Apple Silicon und ähnlichen Chips kann ein lokales KI-Modell so den Großteil des System-RAM als GPU-Speicher nutzen.
VRAM
VRAM ist der Speicher auf einer Grafikkarte. Bei KI-Arbeit enthält er die Modellgewichte, den KV-Cache und Arbeitsdaten, und ob ein Modell in den VRAM passt, entscheidet meist, welche GPU du brauchst, um es auszuführen.