¿Qué es Ragas?
Ragas es una biblioteca de Python para evaluar aplicaciones de generación aumentada por recuperación (RAG), en las que un modelo responde a partir de los documentos que recupera. El desarrollo se ha detenido en la práctica: la última versión, la v0.4.3, salió el 13 de enero de 2026, el último commit llegó el 24 de febrero de 2026 y las pull requests de la comunidad abiertas desde entonces no se han fusionado. La organización de GitHub pasó de explodinggradients a vibrantlabsai, y Vibrant Labs se describe ahora como un laboratorio de investigación que vende datos de aprendizaje por refuerzo para agentes.
La biblioteca ofrece métricas como faithfulness, answer relevancy y context precision, la mayoría de las cuales piden a un modelo juez que puntúe cada muestra, además de métricas personalizadas evaluadas por LLM y generación de conjuntos de prueba sintéticos. Se integra con LangChain, LlamaIndex, Haystack y los modelos de Amazon Bedrock.
Sigue muy usada: PyPI registró unos 1,05 millones de descargas en el mes hasta el 23 de octubre de 2026.
¿Merece la pena Ragas?
Ragas es ahora una biblioteca para mantener en marcha, no para adoptar. Sus definiciones de faithfulness y context precision se citan en tutoriales y herramientas rivales, y todavía suma alrededor de un millón de descargas al mes en PyPI, pero nadie la dirige. El último commit fue el 24 de febrero de 2026, hay unas 250 pull requests abiertas y un issue abierto el 9 de octubre de 2026 con el título "This project is not maintained anymore" no tiene respuesta.
Las pull requests abiertas muestran con qué se topan los usuarios. Varias corrigen que answer relevancy bloquee el bucle de eventos asíncrono con llamadas de embeddings síncronas, lo que paraliza tareas ajenas durante evaluate(); otras corrigen umbrales few-shot que se ignoraban sin aviso e IDs de modelos de razonamiento de Bedrock que no estaban mapeados. Cada una es un parche que tendrías que aplicar desde un fork.
El modelo de costes importa con volumen. La mayoría de las métricas de Ragas las evalúa un LLM, así que cada muestra desencadena una o más llamadas al modelo, y las puntuaciones pueden variar entre ejecuciones y entre modelos jueces. Un equipo que puntúa miles de muestras cada noche está pagando tarifas de API y asumiendo esa variación, no ejecutando una batería de pruebas gratuita.
La telemetría es el detalle que más lectores pasan por alto. Ragas envía por defecto eventos de uso anónimos a un endpoint de explodinggradients.com, y la forma de desactivarlo es una variable de entorno, RAGAS_DO_NOT_TRACK=true. En un entorno regulado conviene fijarla antes de la primera ejecución, decidas lo que decidas sobre la biblioteca.
Dónde se gana su sitio
Un ingeniero de ML en un equipo de cinco personas con una batería de Ragas ya en CI
Mantener comparables las puntuaciones nocturnas de regresión de RAG mientras decide a qué migrar
Fijar ragas==0.4.3, establecer RAGAS_DO_NOT_TRACK=true y fijar el modelo juez para que las puntuaciones sigan siendo comparables. El coste son las llamadas a la API del modelo juez por muestra; el riesgo es tener que mantener por tu cuenta las correcciones de fallos como el bloqueo del bucle de eventos en answer relevancy.
Un investigador que escribe la sección de evaluación de un artículo sobre RAG
Informar de faithfulness y context precision con definiciones que los revisores reconozcan
Las definiciones de métricas de Ragas están muy citadas, así que usarlas para un estudio puntual requiere poca justificación. Hay que anotar la versión y el modelo juez, porque las puntuaciones evaluadas por LLM cambian con ambos.
Un responsable de IA en una aseguradora de 200 personas que elige una pila de evaluación
Elegir una biblioteca de evaluación en la que el equipo pueda confiar los próximos dos años
Ragas no cuesta nada en licencias, pero sin mantenedor cada corrección de fallos y cada actualización de modelos recae en tu equipo. DeepEval o promptfoo ofrecen las mismas métricas de RAG con versiones activas.
Antes de decidirte
- Puesta en marcha
- pip install ragas en Python 3.9 o posterior, más una API key para un modelo juez; ragas quickstart rag_eval crea un proyecto de ejemplo en pocos minutos.
- Integraciones
- Wrappers para LangChain, LlamaIndex y Haystack, modelos de OpenAI, Anthropic, Google y Bedrock a través de llm_factory, y el formato de mensajes AG-UI.
- Datos y privacidad
- Apache 2.0. La telemetría de uso anónima está activada por defecto y se envía a t.explodinggradients.com; establece RAGAS_DO_NOT_TRACK=true para detenerla. Tus muestras van a la API del modelo juez que configures. Sin avisos de seguridad publicados.
- Coste a escala
- La biblioteca es gratuita y no hay edición de pago. El coste real son los tokens del modelo juez: las métricas evaluadas por LLM hacen al menos una llamada al modelo por muestra, así que una batería nocturna grande es una factura de API.
- Límites
- 634 issues y pull requests abiertos, ninguno fusionado desde febrero de 2026; entre los fallos conocidos están las llamadas de embeddings síncronas que bloquean el bucle de eventos en answer relevancy. Solo existe la plantilla de inicio rag_eval; las plantillas de agentes figuran como próximamente.
Lo bueno
- Definiciones de faithfulness y context precision muy citadas
- Generación de conjuntos de prueba sintéticos a partir de tus documentos
- Integraciones con LangChain, LlamaIndex y Haystack
- Licencia Apache 2.0
Lo malo
- Sin commits desde el 24 de febrero de 2026; unas 250 pull requests sin fusionar
- Telemetría de uso activada por defecto
- Las puntuaciones evaluadas por LLM varían entre ejecuciones y modelos jueces
- Los cambios de API entre versiones rompieron muchos ejemplos de internet
Ideal para
Equipos con una batería de Ragas ya montada que pueden fijar una versión y mantener sus propias correcciones.
Alternativas a Ragas
Ragas: preguntas frecuentes
- ¿Merece la pena Ragas?
- Los nombres de sus métricas se convirtieron en el vocabulario de la evaluación de RAG, pero el código se ha quedado sin mantenedor. Le damos un 3.4 sobre 5.
- ¿Cuánto cuesta Ragas?
- Gratuita y de código abierto con licencia Apache 2.0. Pagas las llamadas a la API del modelo juez que hace cada métrica.
- ¿Qué inconvenientes tiene Ragas?
- Sin commits desde el 24 de febrero de 2026; unas 250 pull requests sin fusionar; telemetría de uso activada por defecto; las puntuaciones evaluadas por LLM varían entre ejecuciones y modelos jueces; los cambios de API entre versiones rompieron muchos ejemplos de internet.
- ¿Para quién es Ragas?
- Equipos con una batería de Ragas ya montada que pueden fijar una versión y mantener sus propias correcciones.
- ¿Cuánto cuesta Ragas para un equipo o en producción?
- La biblioteca es gratuita y no hay edición de pago. El coste real son los tokens del modelo juez: las métricas evaluadas por LLM hacen al menos una llamada al modelo por muestra, así que una batería nocturna grande es una factura de API.
- ¿Es Ragas seguro para los datos de la empresa?
- Apache 2.0. La telemetría de uso anónima está activada por defecto y se envía a t.explodinggradients.com; establece RAGAS_DO_NOT_TRACK=true para detenerla. Tus muestras van a la API del modelo juez que configures. Sin avisos de seguridad publicados.
- ¿Cuáles son las mejores alternativas a Ragas?
- Las alternativas más cercanas que hemos analizado son DeepEval y promptfoo.
Respuestas comprobadas el 26 oct 2026.