Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Multimodales Modell

Ein multimodales Modell ist ein KI-Modell, das mehr als eine Art von Daten aufnehmen und manchmal auch erzeugen kann, etwa Text, Bilder, Audio oder Video, und zwar in einem einzigen Modell statt über getrennte Systeme.

Auch: multimodal AI

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Viele aktuelle Flaggschiff-Modelle sind multimodal: Du kannst einen Screenshot, ein Diagramm oder eine PDF-Seite in einen Chat einfügen und Fragen dazu stellen. Manche erzeugen auch Bilder oder Sprache.

So funktioniert es

Ein verbreiteter Aufbau verbindet für jeden zusätzlichen Eingabetyp einen vortrainierten Encoder mit einem Large Language Model. Der Encoder verwandelt ein Bild oder einen Audioclip in Vektoren, die das Sprachmodell neben Text-Tokens lesen kann. Flamingo von DeepMind zeigte das 2022, indem es vortrainierte reine Bild- und reine Sprachmodelle verband und auf Webdaten mit verschränkten Bildern und Texten trainierte. Andere Modelle werden von Anfang an auf mehreren Modalitäten trainiert.

Multimodal vs. Vision-Language

Ein Vision-Language-Modell ist die häufigste Art multimodaler Modelle und verarbeitet Bilder und Text. „Multimodal“ ist der weitere Begriff und kann auch Audio umfassen, wie bei Speech-to-Speech-Systemen, oder Video.

Grenzen

Die Unterstützung unterscheidet sich stark. Ein Modell nimmt vielleicht Bilder an, gibt aber keine aus, oder verarbeitet Audio nur über eine separate Pipeline. Bilder und Audio verbrauchen außerdem Platz im Kontextfenster und verursachen Kosten. Prüfe im Modellverzeichnis, was jedes Modell tatsächlich annimmt.

Verwandte Begriffe

Vision-Language-Modell
Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
Großes Sprachmodell
Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
Foundation Model
Ein Foundation Model (Basis- oder Grundlagenmodell) ist ein großes Modell, das in großem Maßstab auf breiten Daten trainiert wurde und sich per Prompting oder Fine-Tuning an viele verschiedene nachgelagerte Aufgaben anpassen lässt, statt für eine einzige Aufgabe gebaut zu sein.
Speech-to-Speech-Modell
Ein Speech-to-Speech-Modell nimmt gesprochenes Audio auf und gibt direkt gesprochenes Audio aus, ohne die Sprache zuerst in Text und zurück umzuwandeln. Es wird für Sprachgespräche in Echtzeit und Übersetzung genutzt.
Text-to-Image
Text-to-Image ist die Aufgabe, aus einer geschriebenen Beschreibung, dem Prompt, ein neues Bild zu erzeugen. Die meisten aktuellen Text-to-Image-Modelle sind Diffusionsmodelle, die durch den Text gesteuert werden.

Quellen