Ragas의 개요
Ragas는 모델이 검색한 문서로 답하는 검색 증강 생성(RAG) 앱을 평가하는 Python 라이브러리입니다. 개발은 사실상 멈췄습니다. 마지막 릴리스 v0.4.3은 2026년 1월 13일에, 마지막 커밋은 2026년 2월 24일에 나왔고, 그 뒤 열린 커뮤니티 풀 리퀘스트는 병합되지 않았습니다. GitHub 조직은 explodinggradients에서 vibrantlabsai로 옮겨졌으며, Vibrant Labs는 이제 스스로를 에이전트용 강화 학습 데이터를 파는 연구소로 소개합니다.
라이브러리는 faithfulness, answer relevancy, context precision 같은 지표를 제공하며, 대부분 심사 모델에게 표본마다 점수를 매기게 합니다. 사용자 정의 LLM 심사 지표와 합성 테스트 세트 생성도 있습니다. LangChain, LlamaIndex, Haystack, Amazon Bedrock 모델과 연동됩니다.
여전히 많이 쓰입니다. PyPI는 2026년 10월 23일까지 한 달 동안 약 105만 회 다운로드를 기록했습니다.
Ragas, 쓸 만한 가치가 있습니까?
Ragas는 이제 도입할 라이브러리가 아니라 계속 돌려 두는 라이브러리입니다. faithfulness와 context precision의 정의는 튜토리얼과 경쟁 도구 전반에서 인용되고, 여전히 월 약 100만 회의 PyPI 다운로드를 끌어오지만, 아무도 키를 잡고 있지 않습니다. 마지막 커밋은 2026년 2월 24일이고, 풀 리퀘스트 약 250개가 열려 있으며, 2026년 10월 9일 "This project is not maintained anymore"라는 제목으로 올라온 이슈에는 답이 없습니다.
열린 풀 리퀘스트는 사용자들이 무엇에 부딪히는지 보여 줍니다. 여럿은 answer relevancy가 동기식 임베딩 호출로 비동기 이벤트 루프를 막아 evaluate() 중 무관한 작업까지 멈추게 하는 문제를 고치고, 다른 것들은 조용히 무시되던 few-shot 임계값과 매핑되지 않던 Bedrock 추론 모델 ID를 고칩니다. 하나하나가 포크에서 직접 적용해야 할 패치입니다.
규모가 커지면 비용 모델이 중요합니다. Ragas 지표 대부분은 LLM이 심사하므로 표본마다 모델 호출이 한 번 이상 일어나고, 점수는 실행 사이와 심사 모델 사이에서 바뀔 수 있습니다. 매일 밤 수천 개 표본을 채점하는 팀은 무료 테스트 모음을 돌리는 것이 아니라 API 요금을 내며 그 변동을 감수하는 것입니다.
대부분의 독자가 놓치는 세부는 텔레메트리입니다. Ragas는 기본적으로 익명 사용 이벤트를 explodinggradients.com 엔드포인트로 보내며, 거부 방법은 환경 변수 RAGAS_DO_NOT_TRACK=true입니다. 규제 환경이라면 라이브러리에 대해 무엇을 결정하든 첫 실행 전에 설정해야 합니다.
제 역할을 하는 곳
CI에 이미 Ragas 모음이 있는 5인 팀의 ML 엔지니어
무엇으로 옮길지 정하는 동안 야간 RAG 회귀 점수를 비교 가능하게 유지하기
ragas==0.4.3으로 고정하고, RAGAS_DO_NOT_TRACK=true를 설정하고, 점수가 비교 가능하도록 심사 모델을 고정합니다. 비용은 표본당 심사 모델 API 호출이고, 위험은 answer relevancy의 이벤트 루프 차단 같은 버그 수정을 직접 떠안는 것입니다.
RAG 논문의 평가 섹션을 쓰는 연구자
심사자가 알아보는 정 의로 faithfulness와 context precision 보고하기
Ragas 지표 정의는 널리 인용되므로 일회성 연구에 쓰는 데 정당화가 거의 필요 없습니다. LLM 심사 점수는 버전과 심사 모델에 따라 움직이므로 둘 다 기록하십시오.
평가 스택을 고르는 200명 규모 보험사의 AI 책임자
앞으로 2년 동안 팀이 의지할 평가 라이브러리 고르기
Ragas는 라이선스 비용이 없지만, 관리자가 없으므로 모든 버그 수정과 모델 업데이트가 팀의 몫이 됩니다. DeepEval이나 promptfoo가 같은 RAG 지표를 활발한 릴리스와 함께 제공합니다.
도입 전 확인할 점
- 설정
- Python 3.9 이상에서 pip install ragas를 하고 심사 모델용 API 키를 준비합니다. ragas quickstart rag_eval이 몇 분 안에 예제 프로젝트의 뼈대를 만듭니다.
- 연동
- LangChain, LlamaIndex, Haystack 래퍼, llm_factory를 통한 OpenAI, Anthropic, Google, Bedrock 모델, AG-UI 메시지 형식.
- 데이터와 개인정보
- Apache 2.0. 익명 사용 텔레메트리가 기본으로 켜져 있어 t.explodinggradients.com으로 가며, RAGAS_DO_NOT_TRACK=true로 멈춥니다. 표본 은 설정한 심사 모델 API로 갑니다. 공개된 보안 권고는 없습니다.
- 대규모 사용 시 비용
- 라이브러리는 무료이고 유료 에디션은 없습니다. 실제 비용은 심사 모델 토큰입니다. LLM 심사 지표는 표본마다 최소 한 번 모델을 호출하므로 큰 야간 모음은 API 청구서가 됩니다.
- 제한
- 열린 이슈와 풀 리퀘스트 634개, 2026년 2월 이후 병합 없음. 알려진 버그로 answer relevancy에서 동기식 임베딩 호출이 이벤트 루프를 막는 문제가 있음. 빠른 시작 템플릿은 rag_eval뿐이고 에이전트 템플릿은 곧 나온다고만 표시됨.
좋은 점
- 널리 인용되는 faithfulness와 context precision 정의
- 자체 문서로 합성 테스트 세트 생성
- LangChain, LlamaIndex, Haystack 연동
- Apache 2.0 라이선스
아쉬운 점
- 2026년 2월 24일 이후 커밋 없음, 병합되지 않은 풀 리퀘스트 약 250개
- 사용 텔레메트리 기본 활성
- LLM 심사 점수가 실행과 심사 모델에 따라 달라짐
- 버전 간 API 변경으로 온라인 예제 다수가 깨짐
추천 대상
기존 Ragas 테스트 모음이 있으며 버전을 고정하고 직접 수정을 유지할 수 있는 팀.
Ragas 대안
Ragas: 자주 묻는 질문
- Ragas, 쓸 만한 가치가 있습니까?
- 지표 이름은 RAG 평가의 어휘가 됐지만, 코드는 관리자 없이 남겨졌습니다. 평점은 5점 만점에 3.4점입니다.
- Ragas의 가격은 얼마입니까?
- Apache 2.0 라이선스의 무료 오픈소스입니다. 지표마다 하는 심사 모델 API 호출 비용을 냅니다.
- Ragas의 단점은 무엇입니까?
- 2026년 2월 24일 이후 커밋 없음, 병합되지 않은 풀 리퀘스트 약 250개; 사용 텔레메트리 기본 활성; LLM 심사 점수가 실행과 심사 모델에 따라 달라짐; 버전 간 API 변경으로 온라인 예제 다수가 깨짐.
- Ragas에 적합한 사람은 누구입니까?
- 기존 Ragas 테스트 모음이 있으며 버전을 고정하고 직접 수정을 유지할 수 있는 팀.
- 팀이나 프로덕션 환경에서 Ragas의 비용은 얼마입니까?
- 라이브러리는 무료이고 유료 에디션은 없습니다. 실제 비용은 심사 모델 토큰입니다. LLM 심사 지표는 표본마다 최소 한 번 모델을 호출하므로 큰 야간 모음은 API 청구서가 됩니다.
- Ragas에 회사 데이터를 맡겨도 안전합니까?
- Apache 2.0. 익명 사용 텔레메트리가 기본으로 켜져 있어 t.explodinggradients.com으로 가며, RAGAS_DO_NOT_TRACK=true로 멈춥니다. 표본은 설정한 심사 모델 API로 갑니다. 공개된 보안 권고는 없습니다.
- Ragas의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 DeepEval 및 promptfoo입니다.
답변 확인일: 2026년 10월 26일.