Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Matryoshka-Embeddings

Matryoshka-Embeddings sind Vektoren, die so trainiert sind, dass ihre ersten Werte die meiste Information tragen. Du kannst sie auf eine kürzere Länge kürzen und bekommst trotzdem brauchbare Suchergebnisse, was Speicher spart und die Suche beschleunigt.

Auch: Matryoshka representation learning, MRL

Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir

Der Name kommt von den russischen Matroschka-Puppen: Ein kleineres, brauchbares Embedding steckt im größeren. Die Methode, Matryoshka Representation Learning, wurde 2022 veröffentlicht und wird inzwischen in mehreren kommerziellen und offenen Embedding-Modellen eingesetzt.

So funktioniert es

Im Training wird der Loss des Modells nicht nur auf dem vollen Vektor berechnet, sondern auch auf mehreren kürzeren Anfangsstücken davon. Das zwingt das Modell, grobe Bedeutung in die frühen Werte zu packen und feinere Details in die späteren. Bei der Inferenz ändert sich nichts; du behältst einfach so viele Werte, wie du willst.

Warum es wichtig ist

Die Embedding-Dimension bestimmt Speicher- und Suchkosten in einer Vektordatenbank. Mit einem Matryoshka-Modell kannst du kurze Vektoren speichern, um Geld zu sparen, oder eine schnelle erste Suche mit kurzen Vektoren machen und die besten Treffer mit vollständigen Vektoren neu bewerten. OpenAI bietet das über einen `dimensions`-Parameter bei seinen text-embedding-3-Modellen an, der Werte vom Ende entfernt.

Grenzen

Kürzere Vektoren verlieren etwas Qualität, und wie viel, hängt vom Modell und deinen Daten ab. Kürzen funktioniert nur bei Modellen, die so trainiert wurden; ein normales Embedding zu kürzen verschlechtert es stark. Normalisiere die Vektoren nach dem Kürzen neu, wenn du Kosinus-Ähnlichkeit über das Skalarprodukt nutzt. Prüfe die Ergebnisse mit Retrieval-Metriken bei jeder Länge, bevor du dich entscheidest.

Verwandte Begriffe

Embedding-Dimension
Die Embedding-Dimension ist die Anzahl der Werte in jedem Vektor, den ein Embedding-Modell ausgibt. Mehr Dimensionen können mehr Details fassen, aber jeder zusätzliche Wert erhöht Speicher-, Arbeitsspeicher- und Suchkosten pro Element.
Embedding
Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
Vektordatenbank
Eine Vektordatenbank speichert Embeddings zusammen mit ihren Quelldatensätzen und findet die gespeicherten Vektoren, die einem Abfragevektor am nächsten liegen, meist mit einem approximativen Index, damit die Suche über Millionen von Einträgen schnell bleibt.
Kosinus-Ähnlichkeit
Die Kosinus-Ähnlichkeit (Cosine Similarity) misst anhand des Winkels zwischen zwei Vektoren, wie ähnlich sie sind. Sie reicht von -1 bis 1, ignoriert die Vektorlänge und ist der gängigste Weg, Embeddings in der Suche zu vergleichen.
Retrieval-Metriken (Recall@k, nDCG, MRR)
Retrieval-Metriken bewerten, wie gut ein Suchsystem relevante Dokumente liefert. Recall@k prüft, wie viele relevante Einträge unter den ersten k erscheinen, nDCG belohnt es, sie weit oben einzuordnen, und MRR misst, wie früh der erste richtige auftaucht.

Quellen