Alinhamento de IA
Alinhamento de IA (AI alignment) é o trabalho de fazer o comportamento de um sistema de IA corresponder ao que seus usuários e desenvolvedores realmente pretendem, para que ele seja útil, honesto e evite danos, em vez de apenas prever o texto provável ou otimizar uma métrica estreita.
Também chamado: alignment, model alignment
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Um modelo treinado apenas para prever a próxima palavra aprende a imitar a internet, incluindo seus erros e seu pior conteúdo. O artigo do InstructGPT colocou o problema de forma direta: aumentar os modelos de linguagem não os torna, por si só, melhores em seguir a intenção do usuário, e esses modelos podem ser inverídicos, tóxicos ou pouco úteis. Nesse sentido, eles não estão alinhados com seus usuários.
Como os modelos são alinhados hoje
A maioria dos modelos de chat passa por um pós-treinamento depois do pré-treinamento. Primeiro, fine-tuning supervisionado com exemplos de boas respostas. Depois, treinamento por preferência: pessoas ordenam pares de respostas, e o modelo é ajustado na direção das preferidas, por meio de RLHF com um modelo de recompensa ou diretamente com métodos como DPO. Os laboratórios também escrevem regras ou princípios que o modelo é treinado para seguir e testam o resultado com red teaming.
Dois sentidos da palavra
No trabalho com produtos, alinhamento costuma significar o objetivo prático acima: um modelo que segue instruções, recusa pedidos claramente nocivos e admite incerteza. Na pesquisa em segurança de IA, ele também cobre uma questão de prazo mais longo: como manter sistemas muito mais capazes perseguindo os objetivos que as pessoas pretendiam, quando esses objetivos são difíceis de especificar e o sistema pode encontrar atalhos. Os dois se sobrepõem, mas não são a mesma coisa.
Limites
O treinamento de alinhamento muda o comportamento, não o conhecimento subjacente, e pode ser contornado. Um jailbreak é evidência de uma falha de alinhamento. O treinamento por preferência também pode ensinar um modelo a agradar os avaliadores, por exemplo sendo concordante ou prolixo, em vez de estar certo. É por isso que as aplicações ainda acrescentam seus próprios guardrails e avaliações por cima.
Termos relacionados
- RLHF
- O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
- Red teaming de IA
- Red teaming de IA (AI red teaming) é a prática de atacar deliberadamente um modelo ou uma aplicação de IA antes e depois do lançamento, com testadores humanos ou ferramentas automáticas, para encontrar saídas nocivas, jailbreaks, injeções e outras falhas e corrigi-las.
- Direct preference optimization
- Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
- Reward model
- Um reward model (modelo de recompensa) é um modelo separado, treinado com dados de preferência humana, que dá uma nota para a qualidade de uma resposta. O aprendizado por reforço então usa essa nota para ajustar um modelo de linguagem na direção das respostas que as pessoas preferem.
- Jailbreak (LLM)
- Um jailbreak é um prompt ou uma técnica que faz um modelo de linguagem produzir uma saída que seu treinamento de segurança deveria recusar, como instruções nocivas, por meio de role-play, ofuscação, codificações incomuns ou textos adversariais longos.