Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Modelle und wie sie funktionieren

Was Sprachmodelle und andere KI-Modelle sind, wie sie gebaut und bemessen werden und welche Begriffe sie beschreiben.

Attention-Mechanismus
Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.
Autoregressives Modell
Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
Basismodell
Ein Basismodell (Base Model) ist ein Sprachmodell direkt aus dem Pretraining, vor Instruction Tuning oder Training mit menschlichem Feedback. Es setzt jeden Text fort, den es bekommt, statt Anweisungen zu befolgen oder ein Gespräch zu führen.
Diffusions-Sprachmodell
Ein Diffusions-Sprachmodell (Diffusion Language Model, dLLM) erzeugt Text, indem es mit einer vollständig maskierten oder verrauschten Sequenz beginnt und über mehrere Schritte viele Token-Positionen parallel verfeinert, statt ein Token nach dem anderen zu schreiben.
Foundation Model
Ein Foundation Model (Basis- oder Grundlagenmodell) ist ein großes Modell, das in großem Maßstab auf breiten Daten trainiert wurde und sich per Prompting oder Fine-Tuning an viele verschiedene nachgelagerte Aufgaben anpassen lässt, statt für eine einzige Aufgabe gebaut zu sein.
Frontier-Modell
Ein Frontier-Modell (Frontier Model) ist eines der leistungsfähigsten allgemeinen KI-Modelle, die zu einem bestimmten Zeitpunkt verfügbar sind, meist von einem finanzstarken Labor. Der Begriff ist relativ und taucht auch in der KI-Sicherheitspolitik auf.
GGUF
GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
Halluzination (KI)
Eine Halluzination (Hallucination) ist eine Ausgabe eines KI-Modells, die flüssig und selbstsicher klingt, aber falsch, nicht durch die Quellen gedeckt oder erfunden ist, etwa eine erfundene Quellenangabe, ein Zitat, eine Statistik oder eine API-Funktion.
Instruct-Modell
Ein Instruct-Modell ist ein Basis-Sprachmodell, das zusätzlich auf Anweisungen mit guten Antworten und oft auf menschlichem Feedback trainiert wurde, sodass es Anfragen befolgt, statt nur Text fortzusetzen.
Kontextfenster
Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
Mixture of Experts
Mixture of Experts (MoE) ist ein Modellaufbau, bei dem jede Schicht mehrere Experten-Teilnetze enthält und ein Router jedes Token nur an wenige davon schickt, sodass pro Token nur ein Teil des Modells läuft.
Modellgewichte
Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
Modelllizenz
Eine Modelllizenz sind die rechtlichen Bedingungen, unter denen die Gewichte eines Modells, manchmal auch sein Code und seine Daten, genutzt, verändert und weitergegeben werden dürfen. Die Bandbreite reicht von freizügigen offenen Lizenzen bis zu nicht-kommerziellen oder eigenen, eingeschränkten Lizenzen.
Modellparameter
Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
Multimodales Modell
Ein multimodales Modell ist ein KI-Modell, das mehr als eine Art von Daten aufnehmen und manchmal auch erzeugen kann, etwa Text, Bilder, Audio oder Video, und zwar in einem einzigen Modell statt über getrennte Systeme.
ONNX
ONNX (Open Neural Network Exchange) ist ein offenes Dateiformat für Machine-Learning-Modelle. Es beschreibt ein Modell als Graph aus Standardoperatoren, damit es in einem Framework trainiert und in einem anderen ausgeführt werden kann.
Open-Source-KI
Open-Source-KI ist ein KI-System, das unter Bedingungen veröffentlicht wird, die jedem erlauben, es zu nutzen, zu untersuchen, zu verändern und zu teilen, mit Zugang zu den Teilen, die man zum Verändern braucht: Informationen zu den Trainingsdaten, vollständiger Code und Modellparameter.
Open-Weight-Modell
Ein Open-Weight-Modell (Modell mit offenen Gewichten) ist ein Modell, dessen trainierte Gewichte für alle zum Herunterladen und Ausführen veröffentlicht sind, oft ohne Trainingscode oder vollständige Trainingsdaten. Es ist also nicht unbedingt Open Source.
Pretraining
Pretraining (Vortraining) ist die erste und größte Phase im Training eines Modells, in der es allgemeine Muster aus einem sehr großen, nicht gelabelten Datensatz lernt, meist durch Vorhersage des nächsten Tokens, noch vor jeder aufgabenspezifischen Anpassung.
Quantisierung
Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
Reasoning-Modell
Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
Safetensors
Safetensors ist ein Dateiformat von Hugging Face zum Speichern von Modellgewichten. Anders als bei Python-Pickle-Dateien kann beim Laden kein versteckter Code ausgeführt werden, und es unterstützt schnelles, speichergemapptes Laden einzelner Tensoren.
Small Language Model
Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.
State Space Model
Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.
Test-Time Compute
Test-Time Compute (Rechenaufwand zur Antwortzeit) ist die Menge an Berechnung, die ein Modell beim Beantworten einer Anfrage aufwendet, statt im Training. Wenn ein Modell länger nachdenken oder mehrere Antworten ausprobieren darf, kann das die Ergebnisse bei schwierigen Problemen verbessern.
Token (LLM)
Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
Tokenizer
Ein Tokenizer ist die Komponente, die Text in Tokens zerlegt und sie in numerische IDs verwandelt, die ein Sprachmodell verarbeiten kann, und die die Ausgabe-IDs des Modells wieder in Text verwandelt.
Transformer (Architektur)
Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
Vision-Language-Modell
Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
Weight-Space Programming
Weight-Space Programming (Programmieren im Gewichtsraum) ist eine vorgeschlagene Fähigkeit, bei der ein Sprachmodell die Gewichte eines neuronalen Netzes liest, um herauszufinden, was es berechnet, und diese Gewichte dann direkt schreibt oder bearbeitet, ohne Gradiententraining, so wie ein Programmierer Code bearbeitet.
Wissensdestillation
Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.
Wissensstichtag
Der Wissensstichtag (Knowledge Cutoff) ist das Datum, nach dem ein Modell kaum oder keine Informationen hat, weil seine Trainingsdaten etwa bis dahin gesammelt wurden. Spätere Ereignisse sind ihm unbekannt, sofern sie nicht im Prompt stehen.
World Model
Ein World Model (Weltmodell) ist ein KI-Modell, das gut genug lernt, wie eine Umgebung funktioniert, um vorherzusagen, was als Nächstes passiert, oft aus Video- oder Sensordaten, sodass ein Agent in der Simulation planen oder trainieren kann.