Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Métricas de recuperação (recall@k, nDCG, MRR)

Métricas de recuperação (retrieval metrics) avaliam quão bem um sistema de busca retorna documentos relevantes. O recall@k verifica quantos itens relevantes aparecem entre os k primeiros, o nDCG recompensa colocá-los no alto e o MRR mede quão cedo aparece o primeiro correto.

Também chamado: recall@k, nDCG, MRR, precision@k, mean reciprocal rank

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Se o seu app de retrieval-augmented generation dá respostas ruins, a primeira pergunta é se a recuperação encontrou os trechos certos. As métricas de recuperação respondem a isso separadamente da qualidade da resposta. Você precisa de um conjunto rotulado: consultas com os documentos que deveriam voltar, muitas vezes parte de um golden dataset.

Recall@k

De todos os documentos relevantes para uma consulta, que parcela está nos k primeiros resultados? Se três trechos respondem a uma pergunta e dois estão entre os 5 primeiros, o recall@5 é de dois terços. Para RAG, esse costuma ser o número mais importante, já que o modelo só pode usar o que recebe.

Precision@k

Dos k primeiros resultados, que parcela é relevante? Precisão baixa significa que o prompt está cheio de ruído.

nDCG

O normalized discounted cumulative gain usa relevância graduada (muito relevante, um pouco, nada) e dá menos crédito quanto mais baixo um bom resultado aparece. Ele é normalizado para uma escala de 0 a 1 para que as consultas possam ser comparadas. Muitos benchmarks de recuperação, incluindo as tarefas de recuperação do MTEB, o informam.

MRR

O mean reciprocal rank olha só para o primeiro resultado correto: 1 se ele for o primeiro, 1/2 se for o segundo, 1/3 se for o terceiro, com média entre as consultas. Ele combina com tarefas que têm uma única resposta certa.

Como usar

Rode o mesmo conjunto de consultas sempre que mudar o chunking, o modelo de embedding, o reranking ou as configurações do índice. Combine as métricas de recuperação com a avaliação de LLM das respostas finais.

Termos relacionados

Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
Golden dataset
Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
MTEB
O MTEB, Massive Text Embedding Benchmark, é um benchmark público com leaderboard que avalia modelos de embedding de texto em muitos tipos de tarefa, como recuperação, clustering, classificação e reranking, sobre muitos datasets e idiomas.
Reranking
Reranking (reordenação) é uma segunda etapa de busca que pega uma lista curta de documentos candidatos e os reordena por relevância para a consulta, usando um modelo mais preciso, porém mais lento, que o da primeira busca.
Retrieval-augmented generation
Retrieval-augmented generation (RAG, geração aumentada por recuperação) é um padrão em que um sistema primeiro busca em uma coleção de documentos os trechos relevantes para uma pergunta e depois entrega esses trechos a um modelo de linguagem para que a resposta se baseie neles.

Fontes