LateOn and mLateOn의 개요
LateOn은 파리의 AI 기업 LightOn이 2026년 4월 21일 Apache 2.0으로 공개한 ColBERT 방식의 지연 상호작용 모델입니다. 문서를 벡터 하나에 욱여넣는 대신 토큰마다 숫자 128개로 된 벡터를 두고, 쿼리의 각 토큰을 문서에서 가장 가까운 토큰과 맞춰 점수를 매깁니다(MaxSim). 밀집 임베딩보다 저장 공간이 더 들지만 대체로 더 정확하게 순위를 매기며, 같은 모델로 미리 만든 인덱스를 검색할 수도, 다른 시스템의 후보 목록을 재정렬할 수도 있습니다.
LateOn은 ModernBERT 기반 1억 4,900만 파라미터이며 영어 전용입니다. 2026년 7월 30일에 공개된 mLateOn은 다국어 후속작으로, mmBERT 기반 3억 700만 파라미터에 9개 언어(영어, 프랑스어, 독일어, 이탈리아어, 스페인어, 포르투갈어, 스웨덴어, 노르웨이어, 아랍어)로 학습했고 최대 8,192토큰 문서를 다룹니다.
LightOn은 두 모델의 학습 데이터도 공개했습니다. 수집한 쿼리-문서 쌍 14억 개, 정제한 사전 학습 혼합 데이터, 채굴한 부정 예시가 포함된 미세 조정 데이터입니다. 둘 다 LightOn의 PyLate 라이브러리와 FastPLAID 인덱스로 돌아갑니다.
LateOn and mLateOn, 쓸 만한 가치가 있습니까?
LateOn은 소형 검색 모델의 기준을 끌어올렸습니다. BEIR 15개 데이터셋에서 NDCG@10 평균 57.22로, LightOn 자체의 ColBERT-Zero 55.39와 GTE-ModernColBERT 54.75를 앞서고, 크기가 약 4배인 Jina-ColBERT-v2의 51.85를 크게 따돌립니다. 학습 데이터와 겹치는 문단을 걷어 낸 12개 데이터셋 버전 BEIR에서는 60.36으로 올라, 리더보드 우위가 데이터 유출에서 나온다는 흔한 의심에 답합니다.
대부분의 실서비스 코퍼스에는 mLateOn이 더 중요합니다. BEIR 57.56으로 영어 모델보다 조금 높고, MIRACL 대상 언어 65.61, 긴 문서 벤치마크 MLDR 87.69를 기록해 LightOn 수치로는 Liquid AI의 LFM2.5-ColBERT-350M보다 9점 이상 앞섭니다. LateOn 자체는 영어 밖에서 약해, Liquid의 다국어 테스트에서 NanoBEIR 0.484로 Liquid 모델의 0.605에 못 미칩니다. 다만 같은 표의 영어 점수는 LateOn이 0.690으로 가장 높습니다.
지연 상호작용의 대가는 저장 공간입니다. 토큰마다 숫자 128개짜리 벡터를 두므로 300토큰 문단은 밀집 모델이 하나를 저장할 때 약 300개의 벡터를 저장합니다. 인덱스가 훨씬 커지고 FastPLAID 같은 ColBERT 지원 엔진이 필요합니다. 다른 시스템의 상위 100건을 재정렬하는 리랭커로 쓰면 저장할 것이 없고, 비용은 쿼리마다 그 문서들을 인코딩하는 것뿐입니다.
추론형 쿼리에서의 실력은 미지수입니다. LightOn은 BRIGHT 결과를 공개하지 않았고, 여기서 다룬 호스팅 크로스 인코더들은 공개합니다. LateOn의 기본 설정은 문서를 300토큰으로 제한하므로 긴 문단에는 mLateOn이나 분할이 필요합니다. 오픈 데이터, 오픈 가중치, 느슨한 라이선스를 한 묶음으로 원하는 팀에게 이 두 모델은 지연 상호작용의 출발점입니다.
제 역할을 하는 곳
프랑스어와 독일어로 된 긴 계약서를 다루는 리걸테크 스타트업의 ML 엔지니어
유료 API 없이 언어를 넘나들며 맞는 조항 찾기
mLateOn으로 계약서를 PyLate의 FastPLAID 인덱스에 넣고, 8,192토큰 창을 활용해 조항을 쪼개지 않고 유지합니다. Apache 2.0이라 라이선스 비용은 없고, 대신 밀집 모델보다 큰 인덱스가 필요합니다.
이미 Elasticsearch에서 BM25를 쓰는 검색 엔지니어
벡터 인덱스를 만들지 않고 키워드 검색 상위 100건 재정렬하기
쿼리와 후보 100건을 LateOn으로 인코딩하고 인덱스가 필요 없는 PyLate의 rank.rerank로 점수를 매깁니다. 비용은 쿼리마다 149M 파라미터 모델을 GPU나 CPU로 돌리는 시간입니다.
검색 모델의 데이터 유출을 점검하는 연구팀
알려진 데이터로 검색 모델 학습을 재현하거나 확장하기
LightOn이 공개한 사전 학습·미세 조정 데이터와 12개 데이터셋의 오염 제거 BEIR 분할에서 시작해 PyLate로 학습합니다. LightOn은 이 깨끗한 분할에서 LateOn 점수를 60.36으로 보고합니다.
도입 전 확인할 점
- 설정
- pip install pylate 후 models.ColBERT로 lightonai/LateOn이나 lightonai/mLateOn을 불러와 문서를 PLAID 인덱스에 인코딩하고 검색합니다. 후보 목록 재정렬만 할 때는 인덱스 없이 rank.rerank로 충분합니다.
- 연동
- Sentence Transformers 위에 만든 LightOn의 PyLate와 FastPLAID, Hugging Face의 가중치. 토큰 벡터를 다른 곳에 저장하려면 다중 벡터 MaxSim을 지원하는 벡터 데이터베이스가 필요합니다.
- 데이터와 개인정보
- 직접 호스팅만 가능하므로 문서는 자체 하드웨어에 남습니다. 실험용 학습 데이터는 Hugging Face에 공개되어 있고, 최종 모델은 Apache 호환 독자 데이터셋을 사용했습니다.
- 대규모 사용 시 비용
- 라이선스나 API 비용은 없습니다. 운영 비용은 인코딩용 GPU 시간과 토큰당 128차원 벡터의 저장 공간이며, 저장 공간은 코퍼스와 함께 밀집 인덱스보다 훨씬 빨리 늘어납니다.
- 제한
- LateOn은 영어, 기본값으로 쿼리 32토큰과 문서 300토큰입니다. mLateOn은 최대 8,192토큰, 학습 언어 9개입니다. 증류나 프롬프트를 쓰지 않아 LightOn은 더 강한 버전의 여지가 있다고 말합니다.
좋은 점
- 149M 파라미터로 BEIR 57.22, 오염 제거 BEIR 60.36
- Apache 2.0 가중치와 공개된 학습 데이터
- mLateOn은 9개 언어로 8,192토큰을 읽음
- PyLate에서 1단계 검색과 리랭커 모두로 동작
아쉬운 점
- 다중 벡터 인덱스는 밀집 인덱스보다 훨씬 큼
- LateOn은 영어 전용이며 기본 문서 길이는 300토큰
- 이 모델들의 호스팅 API는 안내되어 있지 않음
- 벤치마크는 LightOn 자체 결과, BRIGHT나 추론 결과 없음
추천 대상
검색을 직접 호스팅하면서 1단계 검색이나 가벼운 리랭커로 쓸 느슨한 라이선스의 ColBERT 모델을 원하는 엔지니어.
LateOn and mLateOn 대안
LateOn and mLateOn: 자주 묻는 질문
- LateOn and mLateOn, 쓸 만한 가치가 있습니까?
- 누구에게도 묻지 않고 상업적으로 쓸 수 있는 가장 강한 오 픈 ColBERT 모델이지만, 더 날카로운 순위를 얻는 대신 더 큰 인덱스를 감수해야 합니다. 평점은 5점 만점에 4.2점입니다.
- LateOn and mLateOn의 가격은 얼마입니까?
- Apache 2.0 가중치는 상업적 이용을 포함해 무료이며, 호스팅과 인덱스 저장 비용은 직접 부담합니다.
- LateOn and mLateOn의 단점은 무엇입니까?
- 다중 벡터 인덱스는 밀집 인덱스보다 훨씬 큼; LateOn은 영어 전용이며 기본 문서 길이는 300토큰; 이 모델들의 호스팅 API는 안내되어 있지 않음; 벤치마크는 LightOn 자체 결과, BRIGHT나 추론 결과 없음.
- LateOn and mLateOn에 적합한 사람은 누구입니까?
- 검색을 직접 호스팅하면서 1단계 검색이나 가벼운 리랭커로 쓸 느슨한 라이선스의 ColBERT 모델을 원하는 엔지니어.
- 팀이나 프로덕션 환경에서 LateOn and mLateOn의 비용은 얼마입니까?
- 라이선스나 API 비용은 없습니다. 운영 비용은 인코딩용 GPU 시간과 토큰당 128차원 벡터의 저장 공간이며, 저장 공간은 코퍼스와 함께 밀집 인덱스보다 훨씬 빨리 늘어납니다.
- LateOn and mLateOn에 회사 데이터를 맡겨도 안전합니까?
- 직접 호스팅만 가능하므로 문서는 자체 하드웨어에 남습니다. 실험용 학습 데이터는 Hugging Face에 공개되어 있고, 최종 모델은 Apache 호환 독자 데이터셋을 사용했습니다.
- LateOn and mLateOn의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 LFM2.5-ColBERT-350M, Nemotron ColEmbed V2, Jina Embeddings v5 및 Qwen3-Embedding and Qwen3-Reranker입니다.
답변 확인일: 2026년 11월 20일.