Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Red teaming de IA

Red teaming de IA (AI red teaming) é a prática de atacar deliberadamente um modelo ou uma aplicação de IA antes e depois do lançamento, com testadores humanos ou ferramentas automáticas, para encontrar saídas nocivas, jailbreaks, injeções e outras falhas e corrigi-las.

Também chamado: red team, red teaming

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

O termo vem de exercícios militares e de segurança em que um time vermelho faz o papel do atacante. Para modelos de linguagem, o alvo é o comportamento: o sistema pode ser levado a dar instruções perigosas, vazar dados, insultar usuários ou executar uma ação que não deveria?

Como funciona

Ganguli et al. descreveram trabalhos iniciais de red teaming de modelos de linguagem para descobrir, medir e reduzir saídas nocivas. Eles concluíram que modelos treinados com aprendizado por reforço a partir de feedback humano (RLHF) ficavam mais difíceis de atacar conforme cresciam.

Na prática, as equipes misturam três abordagens. Red teamers humanos, muitas vezes especialistas no domínio, escrevem ataques criativos. Ferramentas automáticas geram muitas variações de ataques conhecidos, como jailbreaks e prompt injections, e avaliam as respostas. Opções open source incluem garak, PyRIT e promptfoo. As descobertas então voltam para o treinamento, os guardrails ou mudanças no produto.

Red teaming vs avaliação

A avaliação de LLM comum pergunta quão bem o sistema faz seu trabalho com entradas típicas. O red teaming pergunta como ele falha com entradas hostis. Os dois são necessários, e boas descobertas do red team muitas vezes viram casos de teste permanentes.

Limites

Um red team pode mostrar que um problema existe; não pode provar que não resta nenhum. Os resultados dependem da habilidade e da imaginação dos testadores e de como o modelo é implantado, então um teste de um modelo base diz pouco sobre um agente construído sobre ele com ferramentas conectadas.

Termos relacionados

Jailbreak (LLM)
Um jailbreak é um prompt ou uma técnica que faz um modelo de linguagem produzir uma saída que seu treinamento de segurança deveria recusar, como instruções nocivas, por meio de role-play, ofuscação, codificações incomuns ou textos adversariais longos.
Avaliação de LLM
Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
Prompt injection
Prompt injection (injeção de prompt) é um ataque em que um texto enviado a um modelo de linguagem, digitado por um usuário ou escondido em uma página web, arquivo ou resultado de ferramenta, muda o comportamento do modelo de formas que o desenvolvedor não pretendia.
Guardrails (IA)
Guardrails (barreiras de proteção) são verificações em tempo de execução colocadas ao redor de um modelo de linguagem que inspecionam entradas e saídas e as bloqueiam, reescrevem ou redirecionam, para que uma aplicação se mantenha no assunto, evite conteúdo nocivo e siga regras que o modelo sozinho não cumpriria de forma confiável.
Alinhamento de IA
Alinhamento de IA (AI alignment) é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que seus usuários e desenvolvedores realmente pretendem, para que ele seja útil, honesto e evite danos, em vez de apenas prever o texto provável ou otimizar uma métrica estreita.

Fontes