Embedding-Dimension
Die Embedding-Dimension ist die Anzahl der Werte in jedem Vektor, den ein Embedding-Modell ausgibt. Mehr Dimensionen können mehr Details fassen, aber jeder zusätzliche Wert erhöht Speicher-, Arbeitsspeicher- und Suchkosten pro Element.
Auch: dimensions, vector dimension, Matryoshka
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Wenn du ein Embedding-Modell wählst, wählst du auch eine Vektorlänge. Das Modell text-embedding-3-small von OpenAI gibt standardmäßig 1536 Zahlen zurück, text-embedding-3-large 3072. Jeder gespeicherte Dokument-Chunk trägt so viele Zahlen, die Dimension multipliziert sich also direkt in die Größe deiner Vektordatenbank und den Aufwand jeder Suche.
Spielt sie eine Rolle?
Ja, vor allem bei Kosten und Tempo. Ein größerer Vektor garantiert kein besseres Retrieval: Das Training des Modells zählt mehr als die reine Länge. Ein kleinerer Vektor aus einem starken Modell kann einen größeren aus einem schwächeren schlagen. Prüf die Retrieval-Qualität mit deinen eigenen Daten, statt anzunehmen, dass größer besser ist.
Vektoren kürzen
Manche neueren Modelle sind so trainiert, dass du einen Vektor kürzen kannst und er den größten Teil seines Nutzens behält. OpenAI lässt dich einen Parameter `dimensions` übergeben, der Zahlen am Ende des Vektors weglässt. Das funktioniert dank Matryoshka-Embeddings, einer Trainingsmethode, die die wichtigsten Informationen in die ersten Werte packt.
Praktische Hinweise
Die Dimension wird beim Anlegen eines Index festgelegt, eine Änderung bedeutet also neu einbetten und neu indexieren. Anfrage- und Dokumentvektoren müssen dieselbe Länge haben. Der Speicher pro Vektor hängt auch vom Zahlenformat ab: Quantisierung von Vektoren auf weniger Bits ist ein eigener Weg, Platz zu sparen. Der Leitfaden zu Embedding-Modellen listet die Dimensionen der Modelle auf, die wir testen.
Verwandte Begriffe
- Vektordatenbank
- Eine Vektordatenbank speichert Embeddings zusammen mit ihren Quelldatensätzen und findet die gespeicherten Vektoren, die einem Abfragevektor am nächsten liegen, meist mit einem approximativen Index, damit die Suche über Millionen von Einträgen schnell bleibt.
- Embedding
- Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
- Matryoshka-Embeddings
- Matryoshka-Embeddings sind Vektoren, die so trainiert sind, dass ihre ersten Werte die meiste Information tragen. Du kannst sie auf eine kürzere Länge kürzen und bekommst trotzdem brauchbare Suchergebnisse, was Speicher spart und die Suche beschleunigt.
- Quantisierung
- Quantisierung ist eine Technik, die die Gewichte eines Modells, manchmal auch Aktivierungen, mit weniger Bits speichert, etwa 8 oder 4 statt 16. Das Modell braucht so weniger Speicher und läuft oft schneller, auf Kosten von etwas Genauigkeit.
- Approximative Nächste-Nachbarn-Suche
- Die approximative Nächste-Nachbarn-Suche (Approximate Nearest Neighbor, ANN) findet Vektoren nahe an einer Anfrage, ohne jeden gespeicherten Vektor zu prüfen. Sie verzichtet auf die Garantie des exakt besten Treffers und sucht dafür in großen Sammlungen viel schneller.