Laya의 개요
Convai Innovations의 작은 공개 결정 모델인 Laya의 코드 쪽입니다. pip 패키지(2026년 9월 18일 첫 릴리스)는 세 체크포인트를 불러옵니다. ModernBERT-large(매개변수 421M) 기반의 영어 체크포인트와 typed-decisions 체크포인트, mmBERT-base(322M) 기반의 다국어 체크포인트이며, 선택, 점수, 예/아니요 질문에 한 번의 순전파로 답합니다. Router는 요청마다 문자 체계와 언어를 1밀리초 안에 감지해, 그 언어를 읽을 수 있는 체크포인트로 보냅니다.
그 주위에 선택형 추가 기능이 있습니다. TypeSafe Jev의 POST /v1/systemone 요청을 받는 HTTP 서버 laya-serve가 있어 Jev 클라이언트는 기본 URL만 바꿔 전환할 수 있습니다. 그 밖에 MCP 서버, LangChain, LangGraph, LlamaIndex, CrewAI 통합, ONNX와 GPU 고속 경로, TypeScript, Rust, .NET SDK가 있습니다. 저장소에는 Kaggle의 무료 T4 GPU와 Apple Silicon용 파인튜닝 노트북도 들어 있습니다. 모두 Apache 2.0입니다.
Laya, 쓸 만한 가치가 있습니까?
저장소가 그것이 제공하는 모델보다 낫습니다. Router는 저자들이 발견하고 문서화한 실패를 해결합니다. 영어 체크포인트가 크메르어에서 0.952의 신뢰도를 보고하면서 정확도는 0.000을 기록해, 신뢰도 임계값으로는 이를 잡아낼 수 없었습니다. 이제 라우터는 모델이 실행되기 전에 문자 체계를 확인합니다. README에 따르면 속도는 실제로 빠릅니다. T4에서 질문 하나에 33 ms, 배치에서는 질문당 7.2 ms입니다.
서버는 주의가 필요합니다. `laya-serve`는 기본적으로 0.0.0.0:8000에 바인딩되며 LAYA_API_KEY가 설정된 경우에만 bearer 키를 요구합니다. 그래서 기본 상태로는 네트워크의 누구나 호출할 수 있습니다. 공유된 환경에서 시작하기 전에 키를 설정하거나 LAYA_HOST=127.0.0.1로 지정하십시오. Jev의 전송 형식을 쓰고, 배치를 상태 64개로 제한하며, 형식이 잘못된 질문에는 422 오류를 돌려줍니다.
약한 부분은 모델입니다. 프로젝트 자체의 결정 2,000건짜리 typed-decisions 벤치마크에서 기본 영어 체크포인트의 정확도는 0.362, 파인튜닝한 typed-decisions 체크포인트는 0.766입니다. README는 또한 기본 제공되는 두 체크포인트가 모두 과신하는 경향이 있고 다국어 체크포인트에는 맞춘 temperature 값이 없다고 밝힙니다. 따라서 신뢰도 점수로 무엇이든 거르기 전에 자신의 데이터로 보정해야 합니다. Kaggle 노트북은 무료 T4 두 대로 파인튜닝 전체 과정을 실행합니다.
속도가 눈에 띕니다. 저장소는 2026년 9월 18일에 만들어졌고, 스타는 약 34,000개이며, 10월 21일에 v0.4.13에 이르렀습니다. 나흘 동안 릴리스가 세 번 나왔습니다. 더 유용한 비교 대상은 Jev가 아니라 일반적인 파인튜닝 분류기입니다. Laya는 질문을 입력으로 받기 때문에, 새로운 결정에는 학습 실행이 아니라 스키마가 필요합니다. 물론 정확도 때문에 결국 학습이 필요해지기 전까지의 이야기입니다.
제 역할을 하는 곳
상담원 30명 규모 헬프데스크의 지원 운영 엔지니어
티켓마다 부서, 긴급도, 이탈 위험에 따라 분류하기
모든 티켓에 Router.predict를 호출해 한 번에 세 가지 유형의 답을 얻습니다. 먼저 Kaggle 노트북으로 과거 티켓에 파인튜닝하며, 무료 T4에서는 비용이 들지 않습니다. 기본 체크포인트의 벤치마크 정확도 0.362는 분류에 쓰기에 너무 낮습니다.
이미 TypeSafe Jev의 호스팅 API를 호출하는 팀
티켓 텍스트를 사내에 두기 위해 결정을 자체 호스팅하기
laya-serve를 실행하고 클라이언트의 기본 URL을 바꿉니다. LAYA_API_KEY를 설정하고 127.0.0.1이나 사설 주소에 바인딩합니다. 파인튜닝하지 않으면 호스팅 모델보다 정확도가 낮다는 것이 대가입니다.
수십 개 언어로 글을 쓰는 고객을 둔 제품팀
언어마다 별도 모델 없이 메시지 분류하기
Router가 영어가 아닌 텍스트를 자동으로 laya-multilingual로 보냅니다. 긴 문서에는 max_len=8192가 필요합니다. README는 약 4,000토큰까지 20개 중 16~18개를 맞혔고 그 이상에서는 결과가 더 들쭉날쭉하다고 보고합니다.
도입 전 확인할 점
- 설정
- Python 3.10 이상에서 `python -m pip install laya`를 실행합니다. Router는 처음 쓸 때 Hugging Face에서 체크포인트를 내려받습니다. `laya[serve]`로 HTTP 서버를 추가합니다.
- 연동
- serve, mcp, langchain, llamaindex, crewai, onnx 추가 기능과 TileLang GPU 고속 경로. npm의 laya-ts. Rust와 .NET SDK. 커뮤니티 Haskell 및 PHP 클라이언트.
- 데이터와 개인정보
- 가중치는 Hugging Face에서 받고 추론은 로컬에서 실행됩니다. laya-serve는 0.0.0.0:8000에 바인딩되며 LAYA_API_KEY를 설정하지 않으면 인증이 없습니다. 코드와 가중치는 Apache 2.0이며 공개된 보안 권고는 없습니다.
- 대규모 사용 시 비용
- 유료 에디션은 없습니다. README의 배치 기준 질문당 7.2 ms라면 T4 한 대로 초당 약 140개 질문을 처리합니다. CPU 추론도 가능하며 LAYA_THREADS로 스레드 수를 제한합니다.
- 제한
- 기본 제공 체크포인트는 과신합니다. 약 4,000토큰을 넘는 긴 문서에서는 정확도가 들쭉날쭉합니다. 며칠마다 릴리스가 나오므로 버전을 고정해야 합니다. 열린 이슈 93개.
좋은 점
- 읽을 수 없는 문자 체 계에서 자신 있게 틀리는 답을 막는 언어 라우터
- Jev 호환 서버, MCP 서버, 프레임워크 통합
- 무료 Kaggle GPU와 Apple Silicon용 파인튜닝 노트북
- README 기준 T4에서 질문당 33 ms
아쉬운 점
- 기본 영어 체크포인트는 자체 벤치마크에서 0.362
- 키를 설정하지 않으면 서버가 인증 없이 0.0.0.0에 바인딩됨
- 기본 제공 체크포인트는 보정 전까지 과신함
- 빠르게 바뀌는 API, 버전 고정 필요
추천 대상
자체 데이터로 작은 결정 모델을 파인튜닝할 생각이고, 바로 쓸 수 있는 라우터, 서버, 학습 루프를 원하는 개발자.
Laya 대안
Laya: 자주 묻는 질문
- Laya, 쓸 만한 가치가 있습니까?
- 작은 결정 모델을 둘러싼 세심한 배관이지만, 모델은 자체 레이블로 파인튜닝해야 비로소 정확해집니다. 평점은 5점 만점에 3.6점입니다.
- Laya의 가격은 얼마입니까?
- 모델 가중치를 포함해 무료 오픈소스(Apache 2.0)입니다.
- Laya의 단점은 무엇입니까?
- 기본 영어 체크포인트는 자체 벤치마크에서 0.362; 키를 설정하지 않으면 서버가 인증 없이 0.0.0.0에 바인딩됨; 기본 제공 체크포인트는 보정 전까지 과신함; 빠르게 바뀌는 API, 버전 고정 필요.
- Laya에 적합한 사람은 누구입니까?
- 자체 데이터로 작은 결정 모델을 파인튜닝할 생각이고, 바로 쓸 수 있는 라우터, 서버, 학습 루프를 원하는 개발 자.
- 팀이나 프로덕션 환경에서 Laya의 비용은 얼마입니까?
- 유료 에디션은 없습니다. README의 배치 기준 질문당 7.2 ms라면 T4 한 대로 초당 약 140개 질문을 처리합니다. CPU 추론도 가능하며 LAYA_THREADS로 스레드 수를 제한합니다.
- Laya에 회사 데이터를 맡겨도 안전합니까?
- 가중치는 Hugging Face에서 받고 추론은 로컬에서 실행됩니다. laya-serve는 0.0.0.0:8000에 바인딩되며 LAYA_API_KEY를 설정하지 않으면 인증이 없습니다. 코드와 가중치는 Apache 2.0이며 공개된 보안 권고는 없습니다.
- Laya의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 colibri, vLLM 및 SGLang입니다.
답변 확인일: 2026년 10월 26일.