Testes de regressão (apps de LLM)
Testes de regressão para apps de LLM significam rodar de novo um conjunto fixo de casos de avaliação após cada mudança em um prompt, modelo, configuração de recuperação ou ferramenta, para pegar casos que funcionavam e agora falham.
Também chamado: LLM regression testing, prompt regression testing, eval regression
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
No software comum, uma regressão é um bug em algo que funcionava antes. Apps de LLM regridem com facilidade: um prompt reescrito corrige uma resposta e quebra outras três, um provedor atualiza um modelo, ou uma nova configuração de recuperação muda o contexto que chega. Os testes de regressão pegam isso antes dos usuários.
Como funciona
Comece com um golden dataset de entradas reais e resultados esperados. Após cada mudança, passe todos os casos pelo app e avalie as saídas: com código onde existe uma resposta exata, com LLM-as-a-judge para respostas abertas e com pessoas para uma amostra. Compare as notas com a execução anterior e reprove o build se elas caírem. O cookbook da OpenAI mostra isso para um app que resume notificações push, verificando se uma mudança de prompt causa regressão no comportamento. Ferramentas open source como o promptfoo permitem escrever os casos de forma declarativa e rodá-los no CI.
O que difere dos testes unitários
A saída do modelo varia de uma execução para outra, principalmente com temperature mais alta. Rode cada caso mais de uma vez, acompanhe taxas de aprovação em vez de resultados isolados e defina limites em vez de exigir correspondência exata. Fixe as versões dos modelos quando puder, para saber se uma mudança veio do seu código ou do provedor.
Em produção
Testes offline cobrem casos conhecidos. A observabilidade de LLM pega aqueles em que você não pensou; adicione essas falhas ao conjunto de testes para que continuem corrigidas. Juntos, eles formam o lado de testes da avaliação de LLM.
Termos relacionados
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- Golden dataset
- Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
- Observabilidade de LLM
- A observabilidade de LLM (LLM observability) é registrar o que uma aplicação de IA faz em produção, incluindo prompts, respostas, chamadas de ferramentas, latência, uso de tokens e custo, como traces pesquisáveis, para que você possa depurar falhas e ver como o sistema se comporta ao longo do tempo.
- Temperature (amostragem)
- A temperature (temperatura) é uma configuração de amostragem que controla quão aleatórias são as escolhas de palavras de um modelo de linguagem. Valores baixos o fazem favorecer os tokens mais prováveis; valores mais altos espalham as escolhas entre os menos prováveis.