A Guarda do GitHub Perdeu para Uma Palavra. A Anthropic Mostrou Onde Mora o Controle.

Um atacante sem credenciais e sem saber programar abriu uma Issue pública no GitHub. O corpo era inglês simples: instruções mandando o agente de IA buscar o README de um repositório privado e postá-lo como comentário. O Agentic Workflow do GitHub leu a issue, tratou o texto como comando e publicou o arquivo privado para qualquer um ler. A Noma Labs documentou a execução: workflow 23909666039, issue #153, repositório privado sasinomalabs/testlocal. O caminho de exfiltração não exigiu nenhuma autenticação.

O GitHub tinha uma guarda construída para barrar exatamente isso. O pesquisador Sasi Levi passou por ela acrescentando uma palavra. Prefixar “Additionally” à instrução injetada fez o modelo reformular a resposta em vez de recusá-la. Nas palavras dele, “ao enganar o modelo, consegui garantir que as guardas do GitHub não funcionassem como pretendido e não impedissem o vazamento de dados.” Uma defesa embarcada, presente em produção, contra um ataque conhecido, perdeu para um advérbio.

Já escrevemos sobre o Qwen: alinhamento pós-treino se comporta como um adesivo, uma camada fina que se subtrai com um único vetor de direção, porque a capacidade por baixo nunca foi removida. Aquele texto terminou em um problema em aberto. Se a supressão é reversível, como seria a remoção de verdade? Esta semana produziu uma resposta candidata, e ela chegou nos mesmos sete dias da falha do GitHub. Os dois eventos apontam a mesma conclusão por extremos opostos. Controle escrito na camada de instrução não se sustenta. Ele precisa descer.

Três camadas onde o controle pode morar

O comportamento de um agente é restringido em uma de três profundidades.

A camada de instrução é o prompt: mensagens de sistema, texto de guarda, treino de recusa que diz ao modelo o que não fazer. É onde a maior parte da “segurança” é embarcada hoje, porque é o mais barato de escrever e o mais rápido de mudar.

A camada de permissão é o que a identidade do agente tem autorização para tocar: credenciais escopadas, roles de menor privilégio, computação em sandbox. Mapeamos esse território no stack de contenção. Aqui o modelo pode decidir fazer a coisa errada e ainda assim ser bloqueado, porque o ambiente se recusa a executar.

A camada de pesos é o que o modelo sabe e consegue fazer de fato. Remova uma capacidade dos pesos e nenhum prompt, nenhum jailbreak, nenhum fine-tune a alcança, porque ela não está lá.

O GitLost é a camada de instrução falhando em campo. O GRAM, publicado pela AE Studio em colaboração com a Anthropic, é a primeira tentativa séria de mudar o botão de desligar para a terceira.

Por que a camada de prompt não segura

A Noma Labs colocou o mecanismo de forma direta: “a janela de contexto do agente também é sua superfície de ataque.” Tudo que o modelo lê vira uma instrução candidata, e o modelo não tem forma confiável de distinguir a política de um desenvolvedor do bilhete de um atacante colado em uma issue. A guarda e o exploit ocupam o mesmo canal. Uma defesa que vive em texto é uma defesa com a qual o atacante pode discutir, e o atacante escreve na mesma língua.

Argumentamos algo próximo em por que governança por prompt falha em runtime: não dá para governar um agente pelo prompt, porque o prompt é uma sugestão que o modelo pesa contra todo o resto do contexto. A escalada desta semana está no que veio depois. O GitHub embarcou uma guarda, calibrada para este ataque, e ela perdeu assim mesmo. A falha é estrutural.

A Noma enquadra prompt injection como “o que as SQL injections foram para as aplicações web, uma classe sistemática e ampla de vulnerabilidade.” A comparação é exata. Sobrevivemos à SQL injection tirando o controle da string. Queries parametrizadas pararam de concatenar entrada do usuário dentro de comandos. A correção foi arquitetural, na camada abaixo do texto. A segurança de agentes trilha o mesmo caminho.

Uma ressalva de escopo. Cobrimos o Clinejection, o mesmo formato de ataque dentro de uma ferramenta de código de terceiros. O GitLost difere em um ponto que importa: aqui é o próprio GitHub, a plataforma em si, não um plugin instalado por alguém. A classe de vulnerabilidade não se limita à cadeia de suprimentos. Ela alcança o agente do próprio fornecedor.

A remediação do GitHub e a linha do tempo da divulgação não constam na fonte. A Noma Security vende ferramentas de segurança para IA agêntica e o post termina com uma demo do produto, então leia como pesquisa de fornecedor. A prova de conceito se sustenta pela evidência: os números do workflow e da issue são reproduzíveis, e o achado não depende do enquadramento do fornecedor.

Como é a remoção a partir dos pesos

O GRAM, sigla para Gradient-Routed Auxiliary Modules, ataca o problema que o texto sobre Qwen deixou em aberto. Durante o treino, ele adiciona um pequeno módulo por categoria em cada camada Transformer. Quando o modelo treina em texto de uso duplo, virologia, cibersegurança, física nuclear ou, em um teste, uma linguagem de programação de nicho, só o módulo correspondente tem permissão de aprender aquele material. Os pesos de propósito geral ficam congelados para aquele conteúdo. O conhecimento perigoso é roteado para um compartimento. Apague o compartimento depois do treino e a capacidade some.

O resultado de eficiência é a manchete para quem roda modelos em produção. Quatro categorias de uso duplo geram dezesseis configurações implantáveis a partir de uma única rodada de treino. O jeito anterior de obter um modelo sem uma dada capacidade era filtrar os dados e treinar de novo, dezesseis modelos filtrados para dezesseis combinações. O GRAM os produz de uma rodada só, escolhendo quais módulos manter.

O resultado de durabilidade é a resposta ao Qwen. A Anthropic testou sete tamanhos de modelo, de 50 milhões a 5 bilhões de parâmetros. Apagar um módulo removeu a capacidade quase tão bem quanto nunca ter treinado nos dados, sem queda medida no desempenho geral, e a separação entre módulo ligado e módulo desligado ficou mais larga conforme os modelos cresciam. Contra fine-tuning malicioso de pequena escala, o GRAM resistiu à recuperação de conhecimento quase tão bem quanto filtrar os dados por completo. O unlearning pós-treino não. A Anthropic descreve o unlearning anterior como mera supressão de conhecimento, “fácil de restaurar com um pouco de fine-tuning.” É exatamente o modo de falha que o adesivo do Qwen demonstrou. O GRAM é o primeiro método que se lê como subtração em vez de disfarce.

A honestidade do próprio enquadramento da Anthropic merece ser repetida, porque omiti-la transformaria este texto em amplificação de fornecedor. Os resultados são preliminares. O GRAM nunca foi testado em escala de fronteira. Nunca foi aplicado a nenhum modelo Claude, e a Anthropic escreve “não temos certeza de que algum dia será.” Foi avaliado em predição do próximo token, não em desempenho em tarefas concretas. E algumas capacidades perigosas podem estar entrelaçadas demais com conhecimento geral para qualquer método separar de forma limpa. O botão de desligar continua um resultado de pesquisa, ainda distante de um produto embarcado. O que ele prova é que a terceira camada é alcançável, ainda longe de pronta.

A Anthropic define a meta como três restrições sustentadas ao mesmo tempo: “limitar o acesso a capacidades de uso duplo da forma mais cirúrgica possível; permitir que usuários confiáveis acessem essas mesmas capacidades para fins benéficos; e fazer tudo isso sem afetar o desempenho do modelo em qualquer outra tarefa.” Isso é uma especificação de camada de pesos. Nada disso cabe em uma mensagem de sistema.

O que fazer agora

Audite onde os controles dos seus agentes de fato moram, e reclassifique cada um por camada.

Pegue toda propriedade de segurança em que você confia e pergunte qual camada a impõe. Se um controle é uma frase em uma mensagem de sistema ou uma recusa que o modelo foi treinado a produzir, marque como camada de instrução e assuma que um atacante com acesso à janela de contexto pode derrotá-lo. A guarda do GitHub era de camada de instrução. Trate a sua da mesma forma até prova em contrário.

Para cada controle de camada de instrução que protege algo real, movimentação de dinheiro, dados privados, execução de código, escreva uma contraparte de camada de permissão que segure quando o prompt falhar. Escope as credenciais do agente de modo que o README privado que ele foi enganado a ler nunca fosse legível por aquela identidade de início. O stack de contenção é o projeto. O trabalho de interpretabilidade é como você acabará verificando afirmações de camada de pesos, quando métodos como o GRAM saírem do laboratório.

A camada de instrução é onde o controle é fácil de escrever e fácil de quebrar. A camada de permissão é onde dá para segurar hoje. A camada de pesos é para onde a indústria caminha, e esta semana ela deu seu primeiro passo real. Construa para a camada abaixo daquela em que você está, porque a camada em que você está é a que os atacantes já usam para escrever.

Fontes

Anthropic. “An Off Switch for Dual Use Knowledge in AI Models.” Julho de 2026.
Noma Labs. “GitLost: How We Tricked GitHub’s AI Agent Into Leaking Private Repos.” Julho de 2026.

A Victorino ajuda organizações de engenharia a tirar os controles de agentes do prompt e colocá-los em permissões e identidade que seguram quando o prompt falha: contato@victorino.com.br | www.victorino.com.br