Multimodales Modell
Ein multimodales Modell ist ein KI-Modell, das mehr als eine Art von Daten aufnehmen und manchmal auch erzeugen kann, etwa Text, Bilder, Audio oder Video, und zwar in einem einzigen Modell statt über getrennte Systeme.
Auch: multimodal AI
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Viele aktuelle Flaggschiff-Modelle sind multimodal: Du kannst einen Screenshot, ein Diagramm oder eine PDF-Seite in einen Chat einfügen und Fragen dazu stellen. Manche erzeugen auch Bilder oder Sprache.
So funktioniert es
Ein verbreiteter Aufbau verbindet für jeden zusätzlichen Eingabetyp einen vortrainierten Encoder mit einem Large Language Model. Der Encoder verwandelt ein Bild oder einen Audioclip in Vektoren, die das Sprachmodell neben Text-Tokens lesen kann. Flamingo von DeepMind zeigte das 2022, indem es vortrainierte reine Bild- und reine Sprachmodelle verband und auf Webdaten mit verschränkten Bildern und Texten trainierte. Andere Modelle werden von Anfang an auf mehreren Modalitäten trainiert.
Multimodal vs. Vision-Language
Ein Vision-Language-Modell ist die häufigste Art multimodaler Modelle und verarbeitet Bilder und Text. „Multimodal“ ist der weitere Begriff und kann auch Audio umfassen, wie bei Speech-to-Speech-Systemen, oder Video.
Grenzen
Die Unterstützung unterscheidet sich stark. Ein Modell nimmt vielleicht Bilder an, gibt aber keine aus, oder verarbeitet Audio nur über eine separate Pipeline. Bilder und Audio verbrauchen außerdem Platz im Kontextfenster und verursachen Kosten. Prüfe im Modellverzeichnis, was jedes Modell tatsächlich annimmt.
Verwandte Begriffe
- Vision-Language-Modell
- Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
- Großes Sprachmodell
- Ein großes Sprachmodell (Large Language Model, LLM) ist ein neuronales Netz mit Milliarden Parametern, das auf großen Textmengen trainiert wurde, um das nächste Token vorherzusagen, wodurch es schreiben, Fragen beantworten, zusammenfassen und Anweisungen befolgen kann.
- Foundation Model
- Ein Foundation Model (Basis- oder Grundlagenmodell) ist ein großes Modell, das in großem Maßstab auf breiten Daten trainiert wurde und sich per Prompting oder Fine-Tuning an viele verschiedene nachgelagerte Aufgaben anpassen lässt, statt für eine einzige Aufgabe gebaut zu sein.
- Speech-to-Speech-Modell
- Ein Speech-to-Speech-Modell nimmt gesprochenes Audio auf und gibt direkt gesprochenes Audio aus, ohne die Sprache zuerst in Text und zurück umzuwandeln. Es wird für Sprachgespräche in Echtzeit und Übersetzung genutzt.
- Text-to-Image
- Text-to-Image ist die Aufgabe, aus einer geschriebenen Beschreibung, dem Prompt, ein neues Bild zu erzeugen. Die meisten aktuellen Text-to-Image-Modelle sind Diffusionsmodelle, die durch den Text gesteuert werden.