Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Notícias ·

IBM apresenta LLMON, marcação feita para separar instruções e dados no prompt

A IBM Granite lançou o LLMON, uma marcação parecida com XML que coloca cada parte do prompt em blocos delimitados por seis tokens reservados, além de prévias experimentais do Granite 4.1 de 3B e 8B treinadas com ele. A IBM diz que os modelos resistem a 47% mais ataques de injeção de prompt que o melhor modelo de fronteira testado no benchmark OPI, com desempenho geral equivalente ao Granite 4.1 Instruct.

A injeção de prompt, em que uma instrução escondida num documento ou no resultado de uma ferramenta sequestra um agente de IA, continua sendo um dos problemas de segurança mais difíceis para quem constrói com modelos de linguagem. A equipe Granite da IBM publicou uma resposta incomum: em vez de mais um filtro, ela muda o formato que o modelo lê. O LLMON, sigla de LLM Object Notation e pronunciado como lemon, é uma linguagem de marcação feita para o modelo distinguir qual texto é uma ordem e qual é só material.

A ideia central é parar de codificar a estrutura com caracteres comuns. No JSON, as aspas que fecham um campo são o mesmo token que aspas dentro de um documento citado, e o aninhamento é acompanhado contando colchetes, algo que transformers fazem mal em trechos longos. O LLMON usa seis tokens especiais reservados como delimitadores, de modo que estrutura e conteúdo usam partes separadas do vocabulário. Cada componente, como uma instrução, um dado ou um requisito, recebe uma tag e um ID curto que custa dois tokens, e um bloco de execução no fim diz qual instrução rodar, sobre quais dados e para onde vai a resposta. O que não for referenciado ali deve ser ignorado.

A IBM está lançando dois modelos experimentais de prévia, granite-4.1-3b-LLMON-preview e granite-4.1-8b-LLMON-preview, treinados a partir dos modelos base do Granite 4.1 para que o comportamento seja aprendido no pós-treinamento. O treino usou um corpus de instruções reserializado com instruções-isca propositalmente sem vínculo, seguido de cinco etapas de reforço GRPO e uma etapa final de DPO com mil pares de preferência montados a partir das próprias respostas do modelo a tentativas de injeção. No benchmark OPI, a IBM relata que o LLMON evita 47% mais ataques que o melhor modelo de fronteira testado e 95% mais que o melhor modelo aberto, com tendências parecidas no ASB e no StruQ, enquanto as notas gerais ficam no nível do Granite 4.1 Instruct.

O apelo prático é o baixo atrito. Os modelos de prévia vêm com um template de chat, então os desenvolvedores nomeiam as partes de uma mensagem e marcam quais executar; conversores transformam JSON existente em LLMON e de volta sem perda. É uma abordagem diferente das hierarquias de instruções e dos classificadores usados pelos laboratórios de fronteira, e pode importar para agentes que leem e-mails ou páginas da web por você.

A IBM é franca sobre os limites. São prévias, não para produção. Os benchmarks testam injeções estáticas; ataques que se desenrolam ao longo de muitos turnos ainda estão em estudo. E a IBM ressalta que a separação é comportamento aprendido, não uma garantia imposta, então um atacante determinado ainda pode achar um jeito de contorná-la.

Nossa opinião: Separar instruções e dados no nível do token é uma resposta mais séria à injeção de prompt do que mais um aviso no prompt de sistema. A própria IBM diz que o comportamento é aprendido, não garantido, e os testes cobrem só ataques estáticos de um turno.

Fonte: Hugging Face

Mais matérias