Laya의 개요
Laya는 Convai Innovations가 2026년 9월 18일 Apache 2.0으로 처음 공개한 오픈 웨이트 의사결정 모델입니다. Jev처럼 상태(state)와 타입이 정해진 질문(choice, score, 그리고 yes/no인 "noul")을 받아, 텍스트를 생성하는 대신 순전파 한 번으로 확률을 돌려줍니다. Jev와 달리 노트북 CPU나 평범한 GPU에서 돌아가는 작은 인코더 모델입니다.
체크포인트는 세 가지입니다. 영어용은 ModernBERT-large(파라미터 4억 2,100만(421 million) 개, 컨텍스트 512 토큰) 기반입니다. laya-multilingual은 mmBERT-base(파라미터 3억 2,200만(322 million) 개, 기본 1,024 토큰, 최대 8,192 토큰)를 쓰며 100개 이상의 언어를 다룹니다. laya-typed-decisions는 영어 모델을 네 가지 워크플로 벤치마크로 파인튜닝한 것입니다. Python 패키지의 Router가 문자 체계와 언어를 감지해 요청마다 알맞은 체크포인트를 고릅니다.
패키지(2026년 10월 26일 PyPI 기준 버전 0.4.15)에는 Jev와 같은 POST /v1/systemone 요청을 받는 서버 laya-serve도 들어 있어, 기존 Jev 클라이언트는 base URL만 바꾸면 전환할 수 있습니다. 기본 설정에서는 LAYA_API_KEY를 지정하지 않으면 인증 없이 모든 네트워크 인터페이스에서 대기합니다.
Laya, 쓸 만한 가치가 있습니까?
Laya의 모델 카드는 핵심 문제를 이례적으로 솔직하게 밝힙니다. 기본 체크포인트는 자체 typed-decisions 벤치마크에서 우연 수준에 가깝습니다. 0.362점으로, 무작위 기준선 0.318과 항상 가장 흔한 답을 고르는 방식의 0.461 사이입니다. README가 Jev 1.13의 점수로 인용하는 0.727을 넘는 대표 수치 0.766은 그 벤치마크의 학습 분할로 파인튜닝한 체크포인트의 것입니다.
독립 테스트도 같은 결론입니다. 커뮤니티의 Jev Decision Index 0.4.1에서 Laya는 228개 항목 중 216위로, 0이 무작위 추측인 척도에서 9.21점이며 Jev 1.14는 60.24점입니다. 이 지수의 보정 샘플에서 정답률은 37.7%였습니다. 카드는 영어 체크포인트가 크메르어에서 0점을 받으면서 신뢰도는 0.952로 보고했다고 덧붙입니다. 언어 Router가 처음 보기보다 중요한 이유입니다.
강점은 속도와 작은 자원 사용량입니다. Convai는 T4 GPU에서 질문 하나에 32.8 ms, 50개씩 배치하면 질문당 약 6.8 ms, CPU에서는 요청당 193~464 ms라고 보고합니다. Decision Index는 Laya의 fused-kernel 빠른 경로로 중앙값 5.8 ms, 없이 19.8 ms를 측정했습니다. 지금은 이보다 빠른 참가 모델이 두 개 있습니다. 무료 Kaggle 노트북이 파인튜닝과 temperature 보정을 처음부터 끝까지 다룹니다.
알려진 실패 유형은 구체적입니다. 선택지가 약 20개를 넘는 choice 질문은 고정된 토큰 예산을 나눠 쓰므로, README에 따르면 Banking77에서 Laya는 77개 레이블 전체로 0.425, Jev는 72개로 0.870이었습니다. 동일 조건 비교가 아닙니다. yes/no 질문은 입력 대신 선택지 레이블을 따라갈 수 있고, act_probability 필드에는 쓸 만한 신호가 없어(AUROC 0.30) 카드는 대신 confidence로 거르라고 말합니다. 자사 약점을 이만큼 밝히는 업체는 드물어, 카드의 나머지 내용은 Jev 비교보다 믿기 쉽습니다. Jev 비교의 수치는 모두 제3자 수치이고 Convai가 다시 측정한 적이 없습니다.
제 역할을 하는 곳
레이블이 붙은 지원 티켓 수천 건을 가진 핀테크의 ML 엔지니어
티켓을 제3자 API로 보내지 않고 50 ms 안에 라우팅하고 태그 달기
Kaggle 노트북으로 레이블 티켓에 파인튜닝하고 temperature를 재보정한 뒤, T4급 GPU 한 장에서 laya-serve로 서빙합니다. 기본 체크포인트의 정확도가 낮으므로 파인튜닝은 선택이 아닙니다.
LLM 에이전트 파이프라인을 운영하는 플랫폼 팀
도구 호출 전에 저렴한 가드레일·에스컬레이션 검사 추가하기
여러 yes/no와 choice 질문을 순전파 한 번에 넣으며, Convai 수치로는 T4에서 50개 배치 시 질문당 약 7 ms입니다. 셀프 호스팅 비용은 GPU뿐이고, Jev API는 입력 1M 토큰당 $0.042입니다. act_probability가 아니라 confidence로 거릅니다.
힌디어, 스페인어, 영어 지원 대기열을 맡은 고객 운영 책임자
요청당 비용 없이 다국어 이메일 분류하기
Router가 영어가 아닌 텍스트를 laya-multilingual로 자동으로 보내며, Convai 테스트에서 51개 언어 중 45개가 무작위의 3배를 넘었습니다. 파인튜닝할 자체 레이블이 없다면, 호스팅 의사결정 API를 떠날 만한 정확도는 나오지 않습니다.
도입 전 확인할 점
- 설정
- pip install laya(Python 3.10 이상). Router는 처음 쓸 때 체크포인트를 내려받으며 영어는 약 808 MB, 다국어는 647 MB입니다. 카드는 로딩이 멈추면 USE_TF=0을 설정하라고 말합니다.
- 연동
- 선택 extras로 HTTP 서버, MCP 서버, LangChain·LangGraph 지원, ONNX Runtime이 추가됩니다. laya-serve는 Jev의 POST /v1/systemone 요청을 받습니다.
- 데이터와 개인정보
- Apache 2.0 가중치를 자체 하드웨어에서 돌리므로 데이터가 밖으로 나가지 않습니다. laya-serve는 LAYA_API_KEY를 설정하지 않으면 인증 없이 0.0.0.0에 바인딩하므로, 키를 설정하거나 포트를 방화벽으로 막아야 합니다.
- 대규모 사용 시 비용
- 라이선스 비용이나 요청당 요금이 없습니다. Convai는 T4 한 장에서 배치로 초당 103~332개 질문을 보고하며, 파인튜닝 노트북은 Kaggle의 무료 T4 두 장 티어에서 돌아갑니다.
- 제한
- 영어 체크포인트는 512 토큰(상태에 약 320), 다국어는 1,024 토큰이며 8,192까지 늘릴 수 있지만 약 4,000 토큰을 넘으면 정확도가 고르지 않습니다. 서열형 score 질문이 가장 약한 유형이고(SST-5에서 0.372), max_loaded=1로 체크포인트를 바꾸면 7~10초의 재로딩이 걸립니다.
좋은 점
- Apache 2.0 가중치, CPU나 작은 GPU에서 실행
- 업체 측정 기준 T4에서 질문당 약 33 ms
- Router가 체크포인트 세 개로 100개 이상 언어를 처리
- Jev 호환 서버와 무료 파인튜닝 노트북
아쉬운 점
- 자체 카드 기준, 기본 체크포인트는 어려운 판단에서 우연 수준에 가까움
- Decision Index 0.4.1에서 228개 중 216위
- 출고 상태로는 과신하며 temperature 재보정 필요
- 키를 설정하지 않으면 서버에 인증이 없음
추천 대상
자체 레이블 의사결정 데이터를 갖고 있고, 빠른 라우팅이나 가드레일용으로 파인튜닝할 작은 셀프 호스팅 모델을 원하는 팀.
Laya 대안
Laya: 자주 묻는 질문
- Laya, 쓸 만한 가치가 있습니까?
- 매우 빠르고 진정한 오픈 모델이지만, 그대로 쓰면 어려운 판단에서 찍기에 가깝습니다. Jev의 대체재가 아니라 파인튜닝할 기반입니다. 평점은 5점 만점에 3.4점입니다.
- Laya의 가격은 얼마입니까?
- 가중치와 Python 패키지는 Apache 2.0으로 무료입니다. 유료 호스팅 API는 없으며 직접 실행합니다.
- Laya의 단점은 무엇입니까?
- 자체 카드 기준, 기본 체크포인트는 어려운 판단에서 우연 수준에 가까움; Decision Index 0.4.1에서 228개 중 216위; 출고 상태로는 과신하며 temperature 재보정 필요; 키를 설정하지 않으면 서버에 인증이 없음.
- Laya에 적합한 사람은 누구입니까?
- 자체 레이블 의사결정 데이터를 갖고 있고, 빠른 라우팅이나 가드레일용으로 파인튜닝할 작은 셀프 호스팅 모델을 원하는 팀.
- 팀이나 프로덕션 환경에서 Laya의 비용은 얼마입니까?
- 라이선스 비용이나 요청당 요금이 없습니다. Convai는 T4 한 장에서 배치로 초당 103~332개 질문을 보고하며, 파인튜닝 노트북은 Kaggle의 무료 T4 두 장 티어에서 돌아갑니다.
- Laya에 회사 데이터를 맡겨도 안전합니까?
- Apache 2.0 가중치를 자체 하드웨어에서 돌리므로 데이터가 밖으로 나가지 않습니다. laya-serve는 LAYA_API_KEY를 설정하지 않으면 인증 없이 0.0.0.0에 바인딩하므로, 키를 설정하거나 포트를 방화벽으로 막아야 합니다.
- Laya의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 GLiNER2.5-Decide, Jev, Perplexity Decider (pplx-decider), d3 (vLLM Semantic Router), Clef 및 ScaleDown Constrained Decoding Models (Classify, Extract, Summarize)입니다.
답변 확인일: 2026년 10월 26일.