Qu’est-ce que LateOn and mLateOn ?
LateOn est un modèle à interaction tardive de type ColBERT conçu par LightOn, l'entreprise d'IA parisienne, publié le 21 avril 2026 sous licence Apache 2.0. Au lieu de comprimer un document en un seul vecteur, il conserve un vecteur de 128 nombres par token et note une requête en associant chaque token de la requête au token du document le plus proche (MaxSim). Cela demande plus de stockage qu'un embedding dense mais classe généralement avec plus de précision, et le même modèle peut soit interroger un index déjà construit, soit réordonner la liste courte d'un autre système.
LateOn compte 149 millions de paramètres sur ModernBERT et ne traite que l'anglais. mLateOn, publié le 30 juillet 2026, en est la suite multilingue : 307 millions de paramètres sur mmBERT, entraîné sur neuf langues (anglais, français, allemand, italien, espagnol, portugais, suédois, norvégien et arabe) et pour des documents jusqu'à 8 192 tokens.
LightOn a publié les données d'entraînement des deux : 1,4 milliard de paires requête-document collectées, le mélange de pré-entraînement nettoyé et les jeux d'affinage avec négatifs minés. Les deux fonctionnent avec la bibliothèque PyLate de LightOn et son index FastPLAID.
LateOn and mLateOn vaut-il le coup ?
LateOn a relevé la barre des petits retrievers. Il atteint en moyenne 57.22 de NDCG@10 sur les 15 jeux de BEIR, devant ColBERT-Zero, de LightOn lui-même, à 55.39 et GTE-ModernColBERT à 54.75, et loin devant Jina-ColBERT-v2 à 51.85, environ quatre fois plus gros. Sur une version de BEIR à 12 jeux débarrassée des passages qui recoupent les données d'entraînement, il monte à 60.36, ce qui répond au soupçon habituel selon lequel les avances au classement viennent de fuites.
mLateOn compte davantage pour la plupart des corpus en production. Il obtient 57.56 sur BEIR, un peu au-dessus du modèle anglais, 65.61 sur les langues cibles de MIRACL et 87.69 sur MLDR, un benchmark de longs documents, soit plus de neuf points devant LFM2.5-ColBERT-350M de Liquid AI selon les chiffres de LightOn. LateOn seul est faible hors de l'anglais : les tests multilingues de Liquid le placent à 0.484 sur NanoBEIR contre 0.605 pour le modèle de Liquid, alors que LateOn a le meilleur score anglais du même tableau, à 0.690.
Le coût de l'interaction tardive, c'est le stockage. Conserver un vecteur de 128 nombres par token signifie qu'un passage de 300 tokens stocke environ 300 vecteurs là où un modèle dense en stocke un : les index grossissent beaucoup et exigent un moteur compatible ColBERT comme FastPLAID. Utilisé en reranker sur les 100 premiers résultats d'un autre système, rien n'est stocké et le coût se limite à encoder ces documents à chaque requête.
Sur les requêtes de raisonnement, c'est une inconnue : LightOn ne publie aucun résultat BRIGHT, alors que les cross-encoders hébergés présentés ici en fournissent. La configuration par défaut de LateOn limite en outre les documents à 300 tokens, si bien que les longs passages demandent mLateOn ou un découpage. Pour les équipes qui veulent des données ouvertes, des poids ouverts et une licence permissive dans un même paquet, ce duo est le point de départ de l'interaction tardive.
Là où il fait la différence
Un ingénieur ML dans une start-up legal tech avec de longs contrats en français et en allemand
Retrouver la bonne clause d'une langue à l'autre sans API payante
Indexez les contrats avec mLateOn dans l'index FastPLAID de PyLate, en profitant de sa fenêtre de 8 192 tokens pour garder les sections entières. Apache 2.0 signifie aucune redevance ; la contrepartie est un index plus gros que celui d'un modèle dense.
Un ingénieur recherche qui a déjà BM25 dans Elasticsearch
Réordonner les 100 premiers résultats par mots-clés sans construire d'index vectoriel
Encodez la requête et les 100 candidats avec LateOn et notez-les avec rank.rerank de PyLate, qui n'a pas besoin d'index. Le coût est du temps GPU ou CPU pour 149M paramètres par requête.
Une équipe de recherche qui audite des modèles de recherche pour détecter des fuites de données
Reproduire ou prolonger l'entraînement d'un retriever sur des données connues
Partez des jeux de pré-entraînement et d'affinage publiés par LightOn et de la version décontaminée de BEIR à 12 jeux, puis entraînez avec PyLate. LightOn indique 60.36 pour LateOn sur cette version nettoyée.
Avant de vous engager
- Mise en route
- pip install pylate, chargez models.ColBERT avec lightonai/LateOn ou lightonai/mLateOn, encodez les documents dans un index PLAID puis interrogez ; pour réordonner une liste courte, rank.rerank suffit, sans index.
- Intégrations
- PyLate et FastPLAID de LightOn, construits sur Sentence Transformers ; poids sur Hugging Face. Stocker les vecteurs de tokens ailleurs exige une base vectorielle qui gère le MaxSim multi-vecteurs.
- Données et confidentialité
- Auto-hébergé uniquement : les documents restent sur votre matériel. Les données d'entraînement des expériences sont publiques sur Hugging Face ; les modèles finaux ont utilisé un jeu propriétaire compatible Apache.
- Coût à grande échelle
- Ni licence ni frais d'API. Le coût de fonctionnement est le temps GPU d'encodage et le stockage d'un vecteur de 128 dimensions par token, qui croît avec le corpus bien plus vite qu'un index dense.
- Limites
- LateOn : anglais, requêtes de 32 tokens et documents de 300 tokens par défaut. mLateOn : jusqu'à 8 192 tokens, neuf langues d'entraînement. Ni distillation ni prompts n'ont été utilisés, ce qui, selon LightOn, laisse de la marge pour des versions plus fortes.
Les points forts
- 57.22 sur BEIR avec 149M paramètres ; 60.36 sur BEIR décontaminé
- Poids Apache 2.0 et données d'entraînement publiées
- mLateOn lit 8 192 tokens dans neuf langues
- Sert de retriever de premier niveau ou de reranker dans PyLate
Les points faibles
- Les index multi-vecteurs sont bien plus gros que les index denses
- LateOn ne traite que l'anglais et prend par défaut des documents de 300 tokens
- Aucune API hébergée annoncée pour ces modèles
- Benchmarks de LightOn ; aucun résultat BRIGHT ni de raisonnement
Idéal pour
Les ingénieurs qui hébergent leur propre recherche et veulent un modèle ColBERT sous licence permissive pour la recherche de premier niveau ou comme reranker léger.
Alternatives à LateOn and mLateOn
LateOn and mLateOn : questions fréquentes
- LateOn and mLateOn vaut-il le coup ?
- Les modèles ColBERT ouverts les plus solides que vous puissiez utiliser commercialement sans rien demander à personne, à condition d'accepter un index plus gros en échange d'un classement plus fin. Nous lui donnons 4.2 sur 5.
- Combien coûte LateOn and mLateOn ?
- Poids gratuits sous licence Apache 2.0, y compris pour un usage commercial ; l'hébergement et le stockage de l'index sont à votre charge.
- Quels sont les inconvénients de LateOn and mLateOn ?
- Les index multi-vecteurs sont bien plus gros que les index denses; lateOn ne traite que l'anglais et prend par défaut des documents de 300 tokens; aucune API hébergée annoncée pour ces modèles; benchmarks de LightOn ; aucun résultat BRIGHT ni de raisonnement.
- À qui s’adresse LateOn and mLateOn ?
- Les ingénieurs qui hébergent leur propre recherche et veulent un modèle ColBERT sous licence permissive pour la recherche de premier niveau ou comme reranker léger.
- Combien coûte LateOn and mLateOn pour une équipe ou en production ?
- Ni licence ni frais d'API. Le coût de fonctionnement est le temps GPU d'encodage et le stockage d'un vecteur de 128 dimensions par token, qui croît avec le corpus bien plus vite qu'un index dense.
- LateOn and mLateOn est-il sûr pour les données de l’entreprise ?
- Auto-hébergé uniquement : les documents restent sur votre matériel. Les données d'entraînement des expériences sont publiques sur Hugging Face ; les modèles finaux ont utilisé un jeu propriétaire compatible Apache.
- Quelles sont les meilleures alternatives à LateOn and mLateOn ?
- Les alternatives les plus proches que nous avons testées sont LFM2.5-ColBERT-350M, Nemotron ColEmbed V2, Jina Embeddings v5 et Qwen3-Embedding and Qwen3-Reranker.
Réponses vérifiées le 20 nov. 2026.