Modelle und wie sie funktionieren
Was Sprachmodelle und andere KI-Modelle sind, wie sie gebaut und bemessen werden und welche Begriffe sie beschreiben.
- Attention-Mechanismus
- Ein Attention-Mechanismus (Aufmerksamkeitsmechanismus) lässt ein neuronales Netz für jedes verarbeitete Token entscheiden, wie viel Gewicht es jedem anderen Token der Eingabe gibt. Self-Attention ist die zentrale Operation in einem Transformer.
- Autoregressives Modell
- Ein autoregressives Modell erzeugt eine Sequenz Stück für Stück, indem es jedes nächste Token aus allen vorherigen Tokens vorhersagt und diese Ausgabe wieder einspeist. Die meisten großen Sprachmodelle arbeiten so.
- Basismodell
- Ein Basismodell (Base Model) ist ein Sprachmodell direkt aus dem Pretraining, vor Instruction Tuning oder Training mit menschlichem Feedback. Es setzt jeden Text fort, den es bekommt, statt Anweisungen zu befolgen oder ein Gespräch zu führen.
- Diffusions-Sprachmodell
- Ein Diffusions-Sprachmodell (Diffusion Language Model, dLLM) erzeugt Text, indem es mit einer vollständig maskierten oder verrauschten Sequenz beginnt und über mehrere Schritte viele Token-Positionen parallel verfeinert, statt ein Token nach dem anderen zu schreiben.
- Foundation Model
- Ein Foundation Model (Basis- oder Grundlagenmodell) ist ein großes Modell, das in großem Maßstab auf breiten Daten trainiert wurde und sich per Prompting oder Fine-Tuning an viele verschiedene nachgelagerte Aufgaben anpassen lässt, statt für eine einzige Aufgabe gebaut zu sein.
- Frontier-Modell
- Ein Frontier-Modell (Frontier Model) ist eines der leistungsfähigsten allgemeinen KI-Modelle, die zu einem bestimmten Zeitpunkt verfügbar sind, meist von einem finanzstarken Labor. Der Begriff ist relativ und taucht auch in der KI-Sicherheitspolitik auf.
- GGUF
- GGUF ist ein binäres Dateiformat, das die Gewichte, den Tokenizer und die Metadaten eines Modells in einer Datei speichert, gebaut für schnelles Laden und lokale Inferenz mit GGML-basierten Tools wie llama.cpp, oft in quantisierter Form.
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- Halluzination (KI)
- Eine Halluzination (Hallucination) ist eine Ausgabe eines KI-Modells, die flüssig und selbstsicher klingt, aber falsch, nicht durch die Quellen gedeckt oder erfunden ist, etwa eine erfundene Quellenangabe, ein Zitat, eine Statistik oder eine API-Funktion.
- Instruct-Modell
- Ein Instruct-Modell ist ein Basis-Sprachmodell, das zusätzlich auf Anweisungen mit guten Antworten und oft auf menschlichem Feedback trainiert wurde, sodass es Anfragen befolgt, statt nur Text fortzusetzen.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- Mixture of Experts
- Mixture of Experts (MoE) ist ein Modellaufbau, bei dem jede Schicht mehrere Experten-Teilnetze enthält und ein Router jedes Token nur an wenige davon schickt, sodass pro Token nur ein Teil des Modells läuft.
- Modellgewichte
- Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
- Modelllizenz
- Eine Modelllizenz sind die rechtlichen Bedingungen, unter denen die Gewichte eines Modells, manchmal auch sein Code und seine Daten, genutzt, verändert und weitergegeben werden dürfen. Die Bandbreite reicht von freizügigen offenen Lizenzen bis zu nicht-kommerziellen oder eigenen, eingeschränkten Lizenzen.
- Modellparameter
- Modellparameter sind die Zahlen, die ein neuronales Netz im Training lernt, vor allem Gewichte. Die Parameterzahl, geschrieben als 7B für sieben Milliarden, ist die übliche Kurzangabe für die Größe eines Modells.
- Multimodales Modell
- Ein multimodales Modell ist ein KI-Modell, das mehr als eine Art von Daten aufnehmen und manchmal auch erzeugen kann, etwa Text, Bilder, Audio oder Video, und zwar in einem einzigen Modell statt über getrennte Systeme.
- ONNX
- ONNX (Open Neural Network Exchange) ist ein offenes Dateiformat für Machine-Learning-Modelle. Es beschreibt ein Modell als Graph aus Standardoperatoren, damit es in einem Framework trainiert und in einem anderen ausgeführt werden kann.
- Open-Source-KI
- Open-Source-KI ist ein KI-System, das unter Bedingungen veröffentlicht wird, die jedem erlauben, es zu nutzen, zu untersuchen, zu verändern und zu teilen, mit Zugang zu den Teilen, die man zum Verändern braucht: Informationen zu den Trainingsdaten, vollständiger Code und Modellparameter.
- Open-Weight-Modell
- Ein Open-Weight-Modell (Modell mit offenen Gewichten) ist ein Modell, dessen trainierte Gewichte für alle zum Herunterladen und Ausführen veröffentlicht sind, oft ohne Trainingscode oder vollständige Trainingsdaten. Es ist also nicht unbedingt Open Source.
- Pretraining
- Pretraining (Vortraining) ist die erste und größte Phase im Training eines Modells, in der es allgemeine Muster aus einem sehr großen, nicht gelabelten Datensatz lernt, meist durch Vorhersage des nächsten Tokens, noch vor jeder aufgabenspezifischen Anpassung.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- Reasoning-Modell
- Ein Reasoning-Modell (Denkmodell) ist ein Sprachmodell, das darauf trainiert ist, ein Problem in einem Strom von Zwischen-Denk-Tokens durchzuarbeiten, bevor es seine endgültige Antwort gibt. Das hilft meist bei Mathematik, Coding und mehrstufigen Aufgaben.
- Safetensors
- Safetensors ist ein Dateiformat von Hugging Face zum Speichern von Modellgewichten. Anders als bei Python-Pickle-Dateien kann beim Laden kein versteckter Code ausgeführt werden, und es unterstützt schnelles, speichergemapptes Laden einzelner Tensoren.
- Small Language Model
- Ein Small Language Model (SLM, kleines Sprachmodell) ist ein Sprachmodell mit relativ wenigen Parametern, meist einigen Milliarden oder weniger, gebaut, um auf einem Laptop, Smartphone oder einer einzelnen GPU günstiger zu laufen als ein großes Modell.
- State Space Model
- Ein State Space Model (SSM, Zustandsraummodell) ist ein Sequenzmodell, das beim Lesen jedes Tokens einen versteckten Zustand fester Größe weiterträgt, sodass seine Kosten linear mit der Eingabelänge wachsen. Mamba ist das bekannteste Beispiel.
- Test-Time Compute
- Test-Time Compute (Rechenaufwand zur Antwortzeit) ist die Menge an Berechnung, die ein Modell beim Beantworten einer Anfrage aufwendet, statt im Training. Wenn ein Modell länger nachdenken oder mehrere Antworten ausprobieren darf, kann das die Ergebnisse bei schwierigen Problemen verbessern.
- Token (LLM)
- Ein Token (LLM) ist die Grundeinheit von Text, die ein Sprachmodell liest und schreibt, oft ein Wort, ein Wortteil, ein Satzzeichen oder ein Byte. Preise, Geschwindigkeit und Kontextgrenzen werden alle in Tokens gezählt.
- Tokenizer
- Ein Tokenizer ist die Komponente, die Text in Tokens zerlegt und sie in numerische IDs verwandelt, die ein Sprachmodell verarbeiten kann, und die die Ausgabe-IDs des Modells wieder in Text verwandelt.
- Transformer (Architektur)
- Der Transformer ist eine Architektur für neuronale Netze, 2017 vorgestellt, die Sequenzen mit Attention statt mit Rekurrenz verarbeitet. Er ist die Grundlage fast aller aktuellen Large Language Models und vieler Bild- und Audiomodelle.
- Vision-Language-Modell
- Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
- Weight-Space Programming
- Weight-Space Programming (Programmieren im Gewichtsraum) ist eine vorgeschlagene Fähigkeit, bei der ein Sprachmodell die Gewichte eines neuronalen Netzes liest, um herauszufinden, was es berechnet, und diese Gewichte dann direkt schreibt oder bearbeitet, ohne Gradiententraining, so wie ein Programmierer Code bearbeitet.
- Wissensdestillation
- Wissensdestillation (Knowledge Distillation) ist eine Trainingsmethode, bei der ein kleineres Schülermodell lernt, die Ausgaben eines größeren Lehrermodells nachzuahmen, sodass ein destilliertes Modell entsteht, das viel vom Können des Lehrers zu geringeren Kosten behält.
- Wissensstichtag
- Der Wissensstichtag (Knowledge Cutoff) ist das Datum, nach dem ein Modell kaum oder keine Informationen hat, weil seine Trainingsdaten etwa bis dahin gesammelt wurden. Spätere Ereignisse sind ihm unbekannt, sofern sie nicht im Prompt stehen.
- World Model
- Ein World Model (Weltmodell) ist ein KI-Modell, das gut genug lernt, wie eine Umgebung funktioniert, um vorherzusagen, was als Nächstes passiert, oft aus Video- oder Sensordaten, sodass ein Agent in der Simulation planen oder trainieren kann.