A Causa Raiz da Injeção de Prompt: LLMs Leem Papéis pelo Estilo, Não pela Estrutura

Retire o estilo de system prompt de um payload malicioso e a taxa de sucesso do jailbreak cai de 61% para 10%. Mantenha a mesma instrução, reescreva para parecer um chain-of-thought forjado, e o sucesso sobe de quase zero para cerca de 60%, transferindo entre todos os modelos de fronteira testados. Esses dois números, do MIT Algorithmic Alignment Group, localizam o mecanismo por trás da injeção de prompt: o modelo lê autoridade pela forma como o texto foi escrito, e o atacante controla como o texto é escrito.

O modelo nunca viu suas tags

Engenheiros imaginam o prompt como um documento estruturado. Um bloco de sistema define a política. Um bloco de usuário carrega o pedido. Saídas de ferramenta chegam em seu próprio canal. O raciocínio acontece em um rascunho reservado. O modelo mental é um sistema de tipos: cada segmento tem um papel declarado, e o papel governa quanta confiança o modelo deposita nele.

O modelo experimenta o prompt de outro jeito. Quando os tokens chegam ao transformer, os marcadores de papel são alguns tokens especiais em uma sequência plana. A rede aprendeu, durante o treino, que texto com certas assinaturas estilísticas tende a vir de certas fontes. Prosa imperativa, em formato de política, com frases absolutas, é lida como instrução de sistema. Prosa hesitante, exploratória, com autocorreção, é lida como raciocínio. O modelo infere quem fala pela prosa e pondera o conteúdo de acordo.

Essa inferência é a superfície de ataque. Um atacante que não consegue tocar seu bloco de sistema ainda pode escrever como ele. A pesquisa “Prompt Injection as Role Confusion” faz a afirmação causal de forma direta: o destyling, remover a impressão digital linguística de um papel privilegiado preservando a instrução literal, é o que colapsa o ataque. A instrução não mudou. A fantasia dela mudou. O modelo estava confiando na fantasia.

Destyling e CoT Forgery cortam para os dois lados

Duas intervenções do mesmo estudo isolam a variável com clareza.

O destyling pega um payload funcional e lava as pistas estilísticas que sinalizam alta autoridade. A mesma exigência, roupa neutra. O sucesso cai de 61% para 10%. A defesa funciona porque ataca a percepção, não as palavras.

O CoT Forgery roda o experimento ao contrário. Pegue uma instrução que o modelo normalmente recusaria e vista-a como o chain-of-thought do próprio modelo, a voz interna em que ele mais confia. O sucesso sobe de cerca de 0% para cerca de 60%, e o efeito transfere entre todos os modelos de fronteira testados. O atacante não está quebrando uma regra. Está se passando pelo único interlocutor que o modelo nunca aprendeu a duvidar.

Junte os dois resultados e a conclusão é difícil de evitar. A fronteira de papel não é imposta por estrutura. Ela é estimada pelo estilo, e o estilo é a única coisa que o atacante controla por completo.

Por que os benchmarks pareciam bem

Aqui está a parte desconfortável para quem aprovou um modelo com base no scorecard de segurança. Os mesmos modelos de fronteira que pontuam quase perfeito em benchmarks padrão de injeção falham em ataques automatizados entre 11% e 25%. O benchmark e o adversário medem coisas diferentes. O benchmark testa se o modelo recusa entrada maliciosa obviamente rotulada. O adversário testa se o modelo pode ser levado a ler errado quem está falando. Um modelo pode gabaritar o primeiro e perder no segundo, porque o segundo nunca foi sobre o conteúdo literal.

O Human Browser Agent Robustness Challenge, da Gray Swan, afia o ponto por outro ângulo. Entre os agentes que eles testaram contra injeção indireta de prompt, os participantes humanos ficaram em quarto lugar. Humanos, o suposto padrão-ouro de julgamento, foram batidos por software na resistência à manipulação, e não houve correlação entre a capacidade bruta do modelo, medida pelo GPQA Diamond, e a frequência com que um agente foi explorado. Mais inteligente não significou mais seguro. Capacidade e resistência à manipulação são eixos independentes. Subir para o modelo mais capaz deixa a confusão de papel intacta.

A Tríade Letal é a precondição

A confusão de papel explica por que a injeção funciona. A Tríade Letal, nomeada pela Gray Swan, explica quando ela machuca. Três condições precisam coincidir: o agente processa dados não confiáveis, o agente alcança dados privados, e o agente tem um canal para exfiltrar. Tire qualquer uma e uma confusão de papel bem-sucedida não tem para onde ir. Um modelo que lê errado uma instrução forjada, mas sem segredos e sem rota de saída, produz uma linha de log embaraçosa, não um vazamento.

Isso importa porque diz onde gastar. A percepção do modelo é intocável. Você arquiteta a tríade em partes separadas. Um agente que lê conteúdo web não confiável não deveria, no mesmo contexto de confiança, guardar credenciais de banco e uma saída HTTP aberta. A fronteira que o modelo não consegue impor por dentro, você impõe por fora, garantindo que nenhum contexto de agente sozinho carregue as três pernas ao mesmo tempo.

O que isso significa para verificar autorização

A consequência estrutural é a que vale segurar. Se um modelo decide quem fala lendo o estilo, e o estilo é forjável, então a fronteira de autorização dentro do modelo é probabilística. Você consegue medir uma taxa de sucesso de ataque. Você não consegue provar um limite. Não existe filtro de entrada que garanta formalmente que o modelo vai atribuir o papel certo ao texto certo, porque a atribuição de papel é uma heurística aprendida sobre características de superfície, não uma propriedade verificada da entrada.

Essa é a diferença entre estimar e verificar, e ela decide toda a sua postura defensiva. Tratar injeção de prompt como problema de conteúdo leva a filtros melhores, classificadores melhores, treino de recusa melhor. Tudo isso reduz a taxa de sucesso. Nada disso produz garantia, porque o modelo continua inferindo autoridade pela prosa a cada vez. Tratar como problema de arquitetura leva a um lugar provável: restringir o que um agente pode fazer, de modo que um papel lido errado não cruze uma fronteira que importa. Você verifica a fronteira que construiu no sistema, não a fronteira que esperava existir no modelo.

Já argumentamos que verificação, e não prompting, é a disciplina que sustenta IA em produção, e que a injeção virou arma de cadeia de suprimentos. A confusão de papel é por que os dois se mantêm. O prompt não é fronteira de confiança. Nunca foi. A fronteira de confiança é aquilo que você consegue checar fora do modelo.

Faça isto agora

Audite cada agente em produção contra a Tríade Letal. Para cada um, escreva três respostas: quais dados não confiáveis ele lê, quais dados privados ele alcança, e o que ele consegue enviar para fora. Qualquer agente que carregue as três pernas em um único contexto de confiança é uma exploração de confusão de papel esperando por um chain-of-thought forjado. Separe as pernas. Coloque o agente de entrada não confiável num contexto sem credenciais. Coloque a ação privilegiada atrás de uma checagem separada e verificada que não dependa de o modelo ter lido o papel corretamente. Pare de orçar um filtro melhor e comece a orçar uma fronteira que você consiga provar.

Fontes

MIT Algorithmic Alignment Group. “Prompt Injection as Role Confusion.” Junho de 2026.
Latent.Space / Gray Swan. “Insights on Indirect Prompt Injection.” Junho de 2026.

A Victorino ajuda times de engenharia a trocar filtros improváveis por fronteiras de autorização que dá para verificar fora do modelo: contato@victorino.com.br | www.victorino.com.br