O que é Ragas?
O Ragas é uma biblioteca Python para avaliar apps de geração aumentada por recuperação (RAG), em que um modelo responde a partir dos documentos que recupera. O desenvolvimento praticamente parou: a última versão, v0.4.3, saiu em 13 de janeiro de 2026, o último commit chegou em 24 de fevereiro de 2026, e os pull requests da comunidade abertos desde então não foram incorporados. A organização no GitHub passou de explodinggradients para vibrantlabsai, e a Vibrant Labs agora se descreve como um laboratório de pesquisa que vende dados de aprendizado por reforço para agentes.
A biblioteca oferece métricas como faithfulness, answer relevancy e context precision, a maioria das quais pede a um modelo juiz que dê nota a cada amostra, além de métricas personalizadas julgadas por LLM e geração de conjuntos de teste sintéticos. Ela se integra com LangChain, LlamaIndex, Haystack e modelos do Amazon Bedrock.
Ela ainda é muito usada: o PyPI registrou cerca de 1.05 milhão de downloads no mês até 23 de outubro de 2026.
Ragas vale a pena?
O Ragas agora é uma biblioteca para manter rodando, não para adotar. Suas definições de faithfulness e context precision são citadas em tutoriais e ferramentas concorrentes, e ela ainda atrai cerca de um milhão de downloads por mês no PyPI, mas ninguém a está conduzindo. O último commit foi em 24 de fevereiro de 2026, cerca de 250 pull requests estão abertos, e um issue aberto em 9 de outubro de 2026 com o título "This project is not maintained anymore" não tem resposta.
Os pull requests abertos mostram onde os usuários estão esbarrando. Vários corrigem a answer relevancy, que bloqueia o event loop assíncrono com chamadas síncronas de embedding, o que trava tarefas não relacionadas durante o evaluate(); outros corrigem limiares de few-shot que eram ignorados em silêncio e IDs de modelos de raciocínio do Bedrock que não estavam mapeados. Cada um é um patch que você teria de aplicar a partir de um fork.
O modelo de custo importa em volume. A maioria das métricas do Ragas é julgada por um LLM, então cada amostra dispara uma ou mais chamadas de modelo, e as notas podem variar entre execuções e entre modelos juízes. Uma equipe que avalia milhares de amostras por noite está pagando tarifas de API e absorvendo essa variação, não rodando uma suíte de testes gratuita.
A telemetria é o detalhe que a maioria dos leitores deixa passar. O Ragas envia por padrão eventos de uso anônimos para um endpoint em explodinggradients.com, e a desativação é uma variável de ambiente, RAGAS_DO_NOT_TRACK=true. Em um ambiente regulado, ela deve ser definida antes da primeira execução, seja qual for sua decisão sobre a biblioteca.
Onde ele se destaca
Um engenheiro de ML em uma equipe de cinco pessoas com uma suíte Ragas já no CI
Manter comparáveis as notas noturnas de regressão de RAG enquanto decide para onde migrar
Fixar ragas==0.4.3, definir RAGAS_DO_NOT_TRACK=true e fixar o modelo juiz para que as notas continuem comparáveis. O custo são as chamadas à API do modelo juiz por amostra; o risco é você mesmo carregar correções para bugs como o bloqueio do event loop na answer relevancy.
Uma pesquisadora escrevendo a seção de avaliação de um artigo sobre RAG
Relatar faithfulness e context precision com definições que os revisores reconheçam
As definições de métricas do Ragas são amplamente citadas, então usá-las em um estudo pontual exige pouca justificativa. Registre a versão e o modelo juiz, já que as notas julgadas por LLM mudam com ambos.
Um chefe de IA em uma seguradora de 200 pessoas escolhendo uma pilha de avaliação
Escolher uma biblioteca de avaliação em que a equipe possa confiar pelos próximos dois anos
O Ragas não custa nada de licença, mas, sem mantenedor, toda correção de bug e atualização de modelo fica com a sua equipe. DeepEval ou promptfoo trazem as mesmas métricas de RAG com versões ativas.
Antes de decidir
- Configuração
- pip install ragas em Python 3.9 ou mais recente, mais uma chave de API para um modelo juiz; ragas quickstart rag_eval monta um projeto de exemplo em poucos minutos.
- Integrações
- Wrappers para LangChain, LlamaIndex e Haystack, modelos da OpenAI, Anthropic, Google e Bedrock via llm_factory, e o formato de mensagens AG-UI.
- Dados e privacidade
- Apache 2.0. A telemetria de uso anônima vem ligada por padrão e é enviada para t.explodinggradients.com; defina RAGAS_DO_NOT_TRACK=true para interrompê-la. Suas amostras vão para a API de modelo juiz que você configurar. Nenhum aviso de segurança publicado.
- Custo em escala
- A biblioteca é gratuita e não há edição paga. O custo real são os tokens do modelo juiz: métricas julgadas por LLM fazem pelo menos uma chamada de modelo por amostra, então uma suíte noturna grande é uma conta de API.
- Limites
- 634 issues e pull requests abertos, nenhum incorporado desde fevereiro de 2026; bugs conhecidos incluem chamadas síncronas de embedding bloqueando o event loop na answer relevancy. Só existe o template de quickstart rag_eval; templates de agentes aparecem como em breve.
O que é bom
- Definições de faithfulness e context precision amplamente citadas
- Geração de conjuntos de teste sintéticos a partir dos seus documentos
- Integrações com LangChain, LlamaIndex e Haystack
- Licença Apache 2.0
O que não é
- Nenhum commit desde 24 de fevereiro de 2026; cerca de 250 pull requests não incorporados
- Telemetria de uso ligada por padrão
- Notas julgadas por LLM variam entre execuções e modelos juízes
- Mudanças de API entre versões quebraram muitos exemplos online
Ideal para
Equipes com uma suíte Ragas existente que conseguem fixar uma versão e carregar as próprias correções.
Alternativas ao Ragas
Ragas: perguntas frequentes
- Ragas vale a pena?
- Os nomes das suas métricas viraram o vocabulário da avaliação de RAG, mas o código ficou sem mantenedor. Damos nota 3.4 de 5.
- Quanto custa Ragas?
- Gratuito e de código aberto sob a licença Apache 2.0. Você paga pelas chamadas à API do modelo juiz que cada métrica faz.
- Quais são as desvantagens de Ragas?
- Nenhum commit desde 24 de fevereiro de 2026; cerca de 250 pull requests não incorporados; telemetria de uso ligada por padrão; notas julgadas por LLM variam entre execuções e modelos juízes; mudanças de API entre versões quebraram muitos exemplos online.
- Para quem Ragas é indicado?
- Equipes com uma suíte Ragas existente que conseguem fixar uma versão e carregar as próprias correções.
- Quanto custa Ragas para uma equipe ou em produção?
- A biblioteca é gratuita e não há edição paga. O custo real são os tokens do modelo juiz: métricas julgadas por LLM fazem pelo menos uma chamada de modelo por amostra, então uma suíte noturna grande é uma conta de API.
- Ragas é seguro para dados da empresa?
- Apache 2.0. A telemetria de uso anônima vem ligada por padrão e é enviada para t.explodinggradients.com; defina RAGAS_DO_NOT_TRACK=true para interrompê-la. Suas amostras vão para a API de modelo juiz que você configurar. Nenhum aviso de segurança publicado.
- Quais são as melhores alternativas ao Ragas?
- As alternativas mais próximas que analisamos são DeepEval e promptfoo.
Respostas verificadas em 26 de out. de 2026.