Vision-Language-Modell
Ein Vision-Language-Modell (VLM, Bild-Sprach-Modell) ist ein Modell, das Bilder und Text als Eingabe nimmt und Text erzeugt. Es kann also Bilder beschreiben, Fragen zu ihnen beantworten, Dokumente lesen und Daten aus Screenshots extrahieren.
Auch: VLM
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
VLMs ermöglichen es einem Chatbot, das Foto eines Kassenbons oder einen gescannten Vertrag zu lesen. Sie sind ein zentrales Werkzeug für Document Parsing, wo sie klassisches OCR zunehmend ersetzen oder unterstützen.
So funktioniert es
Ein typisches VLM hat einen Vision-Encoder, der ein Bild in eine Menge von Vektoren verwandelt, einen kleinen Konnektor, der diese Vektoren in den Eingaberaum des Sprachmodells abbildet, und ein Large Language Model, das sie neben dem Text-Prompt liest. LLaVA von 2023 ist ein bekanntes offenes Beispiel: Es verbindet einen Vision-Encoder mit einem LLM und wurde auf Daten zum Befolgen von Anweisungen über Bilder trainiert. Flamingo von DeepMind beschrieb sich 2022 als Familie visueller Sprachmodelle.
VLM vs. OCR
OCR verwandelt Pixel in Zeichen. Ein VLM kann außerdem Layout, Tabellen, Diagramme und Handschrift verstehen und Fragen dazu beantworten. Manche VLMs sind auf Dokumente abgestimmt, etwa DeepSeek-OCR 2.
Grenzen
VLMs können kleinen Text falsch lesen, Zahlen in dichten Tabellen verwechseln oder Details beschreiben, die nicht im Bild sind, eine visuelle Form von Halluzination. Prüfe extrahierte Zahlen, bevor du dich darauf verlässt. VLMs sind eine Art von multimodalem Modell.
Verwandte Begriffe
- Multimodales Modell
- Ein multimodales Modell ist ein KI-Modell, das mehr als eine Art von Daten aufnehmen und manchmal auch erzeugen kann, etwa Text, Bilder, Audio oder Video, und zwar in einem einzigen Modell statt über getrennte Systeme.
- Optische Zeichenerkennung
- Optische Zeichenerkennung (OCR) ist Software, die Text aus Bildern wie gescannten Seiten, Fotos oder Screenshots liest und in maschinenlesbare Zeichen verwandelt, die sich durchsuchen, kopieren oder an ein Modell übergeben lassen.
- Document Parsing
- Document Parsing (Dokumentenanalyse) wandelt Dateien wie PDFs, Scans, Folien und Tabellen in strukturierten Text um, den Software nutzen kann, und erhält dabei Überschriften, Lesereihenfolge, Tabellen und Bilder statt eines flachen Zeichenstroms.
- Halluzination (KI)
- Eine Halluzination (Hallucination) ist eine Ausgabe eines KI-Modells, die flüssig und selbstsicher klingt, aber falsch, nicht durch die Quellen gedeckt oder erfunden ist, etwa eine erfundene Quellenangabe, ein Zitat, eine Statistik oder eine API-Funktion.
- Tabellenextraktion
- Tabellenextraktion ist die Aufgabe, Tabellen in Dokumenten zu finden und ihre Zeilen, Spalten, Kopfzeilen und Zellen als strukturierte Daten wie HTML, Markdown oder CSV nachzubauen, statt als lose Textzeilen.