Segurança e avaliação
Como sistemas de IA são atacados, protegidos, regulados e medidos, incluindo os benchmarks.
- Abliteration
- A abliteration (remoção da direção de recusa) é uma técnica que impede um modelo de linguagem de recusar pedidos: ela encontra a única direção interna que carrega a recusa e edita os pesos para que o modelo não consiga mais escrever nela, sem nenhum retreinamento.
- AI Act da UE
- O AI Act da UE (Lei de IA da União Europeia), Regulamento (UE) 2024/1689, é a lei da União Europeia sobre inteligência artificial. Ele define regras baseadas em risco para quem constrói e implanta sistemas de IA, de proibições totais a deveres de transparência, aplicadas em fases a partir de 2025.
- AIME (benchmark)
- O AIME, American Invitational Mathematics Examination, é uma competição de matemática dos EUA com 15 questões e respostas inteiras de 0 a 999; laboratórios de IA usam suas provas anteriores, como a AIME 2025, como benchmark de raciocínio matemático.
- Alinhamento de IA
- Alinhamento de IA (AI alignment) é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que seus usuários e desenvolvedores realmente pretendem, para que ele seja útil, honesto e evite danos, em vez de apenas prever o texto provável ou otimizar uma métrica estreita.
- ARC-AGI
- O ARC-AGI é uma série de benchmarks, criada por François Chollet e mantida pelo ARC Prize, que testa se um sistema de IA consegue resolver quebra-cabeças de racioc ínio novos, que nunca viu antes, medindo a eficiência com que ele aprende, e não o que ele sabe.
- Artificial Analysis Intelligence Index
- O Artificial Analysis Intelligence Index é uma pontuação composta da empresa de benchmarking Artificial Analysis que combina várias avaliações, abrangendo trabalho do conhecimento, programação, ciências e conhecimentos gerais, em um único número para comparar modelos de linguagem.
- Ataque à cadeia de suprimentos de IA
- Um ataque à cadeia de suprimentos de IA (supply-chain attack) compromete uma aplicação de IA por meio de algo de que ela depende, como um modelo baixado, um adaptador LoRA, um conjunto de dados, um pacote Python, um servidor MCP ou uma agent skill, em vez de atacar a aplicação diretamente.
- Avaliação de LLM
- Avaliação de LLM (LLM evaluation), muitas vezes chamada de evals, é medir o quão bem um modelo ou uma aplicação de IA executa uma tarefa, rodando-o em um conjunto de casos de teste e pontuando as saídas segundo critérios definidos, por código, por pessoas ou por outro modelo.
- Avaliação humana
- Avaliação humana (human evaluation) é julgar saídas de IA com pessoas, e não com métricas automáticas, por exemplo avaliadores que pontuam respostas segundo uma rubrica ou escolhem a melhor de duas respostas anônimas em um teste cego.
- Benchmark de IA
- Um benchmark de IA (teste de referência) é um conjunto fixo e público de tarefas com um método de pontuação acordado, usado para comparar modelos no mesmo teste, por exemplo problemas de código resolvidos, questões de prova respondidas ou qualidade de recuperação em muitos conjuntos de dados.
- BrowseComp
- O BrowseComp é um benchmark da OpenAI com 1.266 perguntas difíceis que testa se um agente de navegação consegue pesquisar a web com persistência atrás de fatos emaranhados e difíceis de achar, com respostas curtas e fáceis de verificar.
- Contaminação de benchmark
- Contaminação de benchmark (benchmark contamination) é quando um modelo viu as questões ou respostas de teste de um benchmark durante o treinamento, de modo que sua pontuação nesse benchmark exagera o quanto ele lida bem com problemas novos do mesmo tipo.
- Credenciais de conteúdo C2PA
- As credenciais de conteúdo C2PA (Content Credentials) são registros de procedência assinados, definidos por um padrão aberto da Coalition for Content Provenance and Authenticity, que acompanham uma imagem, um vídeo, um arquivo de áudio ou um documento e registram sua origem e suas edições.
- Deepfake
- Um deepfake é um conteúdo de imagem, áudio ou vídeo criado ou alterado com IA para mostrar de forma convincente uma pessoa, um lugar ou um evento real de um jeito que não aconteceu e que poderia passar por autêntico.
- Exfiltração de dados (agentes de IA)
- Exfiltração de dados, no caso de agentes de IA, é quando um atacante engana um agente para que ele leia dados privados a que tem acesso e os envie para fora, por uma requisição web, um e-mail, um link de imagem ou outro canal que o atacante controla.
- Golden dataset
- Um golden dataset (conjunto de referência) é um conjunto fixo e cuidadosamente verificado de entradas de exemplo associadas às respostas ou ao comportamento esperados, usado como referência quando você avalia ou faz testes de regressão em um sistema de IA.
- GPQA
- O GPQA (Graduate-Level Google-Proof Q&A) é um benchmark de 448 questões difíceis de múltipla escolha em biologia, física e química, escritas por especialistas para que não especialistas qualificados não consigam respondê-las nem com busca ilimitada na web.
- Guardrails (IA)
- Guardrails (barreiras de proteção) são verificações em tempo de execução colocadas ao redor de um modelo de linguagem que inspecionam entradas e saídas e as bloqueiam, reescrevem ou redirecionam, para que uma aplicação se mantenha no assunto, evite conteúdo nocivo e siga regras que o modelo sozinho não cumpriria de forma confiável.
- HumanEval
- O HumanEval é um benchmark de geração de código lançado pela OpenAI em 2021: 164 problemas de Python escritos à mão, cada um com assinatura de função, docstring e testes unitários, usados para verificar se um modelo escreve código que de fato funciona.
- Humanity's Last Exam
- O Humanity's Last Exam (HLE) é um benchmark de 2.500 questões escritas por especialistas em dezenas de disciplinas, construído para ser muito difícil para modelos de IA, com respostas claras e verificáveis que não podem ser encontradas rapidamente na internet.
- Jailbreak (LLM)
- Um jailbreak é um prompt ou uma técnica que faz um modelo de linguagem produzir uma saída que seu treinamento de segurança deveria recusar, como instruções nocivas, por meio de role-play, ofuscação, codificações incomuns ou textos adversariais longos.
- Leaderboard (IA)
- Um leaderboard de IA (tabela de classificação) é um ranking público de modelos segundo suas pontuações em um ou mais benchmarks ou em votos de preferência humana, atualizado à medida que novos modelos são testados, para que os leitores possam comparar modelos lado a lado.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juiz) é um método de avaliação em que um modelo de linguagem forte corrige as saídas de outro modelo ou aplicação, usando uma rubrica, uma resposta de referência ou uma comparação lado a lado, no lugar de revisores humanos ou junto com eles.
- LMArena
- O LMArena, conhecido primeiro como Chatbot Arena, é uma plataforma pública que classifica modelos de IA por votos humanos coletivos: os usuários veem dois modelos anônimos responderem ao mesmo prompt e escolhem a melhor resposta.
- Marca d'água de IA
- Marca d'água de IA (AI watermarking) é a inserção de um sinal oculto e detectável por máquina em texto, imagens, áudio ou vídeo no momento em que um modelo de IA os gera, para que um software possa depois identificar o conteúdo como gerado por IA.
- MMLU
- O MMLU (Massive Multitask Language Understanding) é um benchmark de múltipla escolha que cobre 57 matérias, de matemática elementar e história dos EUA a direito e ciência da computação, e testa o conhecimento amplo e a resolução de problemas de um modelo de linguagem.
- Model card
- Um model card (ficha do modelo) é um documento curto publicado com um modelo de machine learning que explica para que ele serve, como foi treinado e avaliado, onde tem desempenho ruim e como deve e não deve ser usado.
- MTEB
- O MTEB, Massive Text Embedding Benchmark, é um benchmark público com leaderboard que avalia modelos de embedding de texto em muitos tipos de tarefa, como recuperação, clustering, classificação e reranking, sobre muitos datasets e idiomas.
- OAuth para agentes de IA
- OAuth para agentes de IA é o uso do padrão de autorização OAuth para permitir que um agente ou cliente MCP aja em nome de um usuário com um token de acesso limitado e revogável, em vez de guardar a senha do usuário ou uma API key ampla.
- Observabilidade de LLM
- A observabilidade de LLM (LLM observability) é registrar o que uma aplicação de IA faz em produção, incluindo prompts, respostas, chamadas de ferramentas, latência, uso de tokens e custo, como traces pesquisáveis, para que você possa depurar falhas e ver como o sistema se comporta ao longo do tempo.
- OSWorld
- O OSWorld é um benchmark para agentes de computer use que roda sistemas operacionais reais como Ubuntu, Windows e macOS e avalia os agentes em 369 tarefas abertas em apps web e desktop, verificadas por scripts.
- pass@k
- pass@k é uma métrica para benchmarks de código que dá a chance de pelo menos uma de k soluções geradas para um problema passar nos testes unitários; pass@1 é a chance de uma única tentativa dar certo.
- Permissões de agente
- Permissões de agente são as regras que decidem quais ferramentas, arquivos, comandos, redes e contas um agente de IA pode usar, e quais ações precisam antes da aprovação de uma pessoa, para que um agente que erra ou é manipulado cause danos limitados.
- Prompt injection
- Prompt injection (injeção de prompt) é um ataque em que um texto enviado a um modelo de linguagem, digitado por um usuário ou escondido em uma página web, arquivo ou resultado de ferramenta, muda o comportamento do modelo de formas que o desenvolvedor não pretendia.
- Rating Elo (arenas de modelos)
- Um rating Elo, em arenas de modelos, é uma pontuação calculada a partir de muitos votos em confrontos diretos entre pares de modelos, de modo que a diferença entre duas pontuações prevê com que frequência a resposta de um modelo será preferida à do outro.
- Red teaming de IA
- Red teaming de IA (AI red teaming) é a prática de atacar deliberadamente um modelo ou uma aplicação de IA antes e depois do lançamento, com testadores humanos ou ferramentas automáticas, para encontrar saídas nocivas, jailbreaks, injeções e outras falhas e corrigi-las.
- Redação de PII
- A redação de PII (PII redaction) é a detecção e remoção ou mascaramento de informações de identificação pessoal, como nomes, telefones, endereços e números de cartão, em textos ou imagens antes de serem enviados a um modelo, guardados em logs ou mostrados a outras pessoas.
- Residência de dados
- Residência de dados (data residency) é um controle que mantém os dados de um cliente armazenados, e muitas vezes processados, em uma região geográfica escolhida, como a UE, para que uma equipe possa cumprir suas próprias regras legais, contratuais ou de clientes sobre onde os dados ficam.
- SOC 2
- O SOC 2 é um relatório de auditoria, produzido por uma firma de auditoria CPA externa segundo as normas do AICPA, sobre os controles de uma organização prestadora de serviços relativos a segurança, disponibilidade, integridade de processamento, confidencialidade ou privacidade.
- SWE-bench
- O SWE-bench é um benchmark de código construído a partir de issues reais do GitHub em projetos Python populares; um modelo ou agente precisa editar o repositório para que a issue seja corrigida e os testes ocultos do projeto passem.
- Terminal-Bench
- O Terminal-Bench é um benchmark para agentes de IA que trabalham em um terminal de linha de comando, em que cada tarefa dá ao agente um ambiente real e é avaliada por testes que verificam se o trabalho foi realmente feito.
- Testes de regressão (apps de LLM)
- Testes de regressão para apps de LLM significam rodar de novo um conjunto fixo de casos de avaliação após cada mudança em um prompt, modelo, configuração de recuperação ou ferramenta, para pegar casos que funcionavam e agora falham.
- Tool poisoning
- Tool poisoning (envenenamento de ferramentas) é um ataque em que uma ferramenta maliciosa, muitas vezes um servidor MCP, esconde instruções na descrição ou nos metadados da ferramenta; o modelo de IA as lê como orientação e pode vazar dados ou usar mal outras ferramentas sem que o usuário perceba.
- Zero data retention
- Zero data retention (ZDR, retenção zero de dados) é um acordo em que um provedor de IA não guarda os prompts e as saídas de um cliente depois que uma requisição é respondida, geralmente oferecido só a clientes aprovados e só para recursos de API elegíveis.
- τ-bench
- O τ-bench (tau-bench) é um benchmark que testa agentes de IA em conversas simuladas de atendimento ao cliente, em que um modelo de linguagem faz o papel do usuário e o agente precisa usar ferramentas de API do domínio seguindo regras de política escritas.