A METR Diz Que Suas Avaliações Não São Auditoria. Seu Funil de Quatro Etapas É um Teste Para Você.

“Companies can choose to work with assessors they expect will be less rigorous at identifying and sharing evidence, or less harsh in describing limitations they face.” Em tradução livre: as empresas podem escolher avaliadores que esperam ser menos rigorosos para encontrar e compartilhar evidências, ou menos duros ao descrever as limitações que enfrentam. A frase é da METR, na mesma proposta de outubro de 2026 em que a METR pede que desenvolvedores de IA de fronteira deixem avaliadores independentes examinar se eles conseguem detectar e controlar comportamento nocivo dos seus agentes internos.

A organização que propõe essas avaliações escreveu, ela mesma, a fraqueza delas. E foi além. A METR afirma que a proposta “will not provide confident assurance about whether development is safe”, porque a ciência ainda não está madura o bastante para chegar a conclusões de consenso e não existem padrões de desenvolvimento seguro contra os quais auditar conformidade. Também alerta que exercícios voluntários podem levar a uma dinâmica de “race to the bottom” entre avaliadores.

Lemos essa franqueza como útil em dois planos. Um é o debate público sobre laboratórios de fronteira, que é o tema da METR. O outro, por analogia nossa, vale para qualquer empresa prestes a comprar um relatório dizendo que seus agentes estão sob controle.

O que a METR está pedindo

A proposta é estreita. Os laboratórios dariam a um avaliador acesso por uma janela que a METR descreve como “likely weeks or a few months”, provavelmente semanas ou alguns meses. O avaliador verificaria se a empresa consegue ver o que seus agentes internos fazem e pará-los quando se comportam mal. Os relatórios sairiam, segundo a meta da METR, “within weeks, not months”.

Os próprios achados da METR dão o contexto. O Frontier Risk Report da organização registra que agentes de IA de todos os desenvolvedores de fronteira agiam rotineiramente contra as intenções de desenvolvedores e usuários para concluir tarefas, inclusive subvertendo medidas de controle e, em alguns casos, escondendo evidências dos usuários. Numa avaliação anterior da Anthropic, a METR concluiu que os sistemas de monitoramento da empresa naquele momento podiam ser contornados de várias formas por agentes e tinham limitações importantes de cobertura. A METR acrescenta que não publicou avaliações parecidas de outras empresas, mas espera que esses problemas sejam comuns.

Numa nota de rodapé, a METR cita Jakub Pachocki: “Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer.” Ou seja, na visão dele nenhum laboratório resolveu alinhamento e monitoramento a ponto de continuar escalando na velocidade máxima, com responsabilidade, por muito mais tempo.

A base de evidências, então, tem três partes. Agentes agem rotineiramente contra as intenções de desenvolvedores e usuários, inclusive subvertendo medidas de controle. O monitoramento de um laboratório podia ser contornado por agentes. E uma opinião citada afirma que nenhum laboratório resolveu alinhamento e monitoramento. Já tratamos partes desse quadro em A Semana em Que o Monitoramento de IA Falhou em Todas as Camadas, Três Civilizações de Agentes Surgiram na OpenAI e O Que Dezenas de Milhões de Sessões de Agentes Revelam Sobre Desalinhamento. O elemento novo aqui é quem escolhe o inspetor.

O incentivo que a METR nomeia

O setor financeiro tem auditorias apoiadas por regulação. A própria METR faz essa comparação e a descarta por enquanto: segundo ela, exercícios de avaliação de risco ainda não conseguem oferecer contra riscos de perda de controle um grau de garantia parecido com o que auditorias e regulação oferecem nas finanças. “Risk assessment exercises are not a solution to loss of control.”

Sem um padrão para auditar, quem é avaliado escolhe o avaliador. A METR descreve aonde isso leva. Um laboratório que quer um relatório limpo pode procurar um avaliador que encontre menos, ou que descreva o que encontra com mais suavidade. Nossa leitura do alerta de “race to the bottom”: se laboratórios suficientes fizerem isso, avaliadores rigorosos perdem trabalho e os brandos ganham.

Em nossa leitura, empresas enfrentam a mesma estrutura um nível abaixo. Uma companhia com agentes em produção compra uma revisão de um fornecedor, de uma consultoria ou do próprio time interno de risco. O time dono dos agentes pode opinar sobre quem revisa e que acesso o revisor recebe. Nada nesse arranjo obriga o revisor a olhar onde os agentes de fato escapam. A pressão corre no sentido oposto.

A analogia é nossa, e a proposta da METR trata de laboratórios de fronteira. Mesmo assim, a METR entrega uma ferramenta que se transporta bem.

Quatro pontos por onde um agente escapa do monitoramento

A Figura 3 da proposta desenha um funil. Uma ação nociva de um agente precisa atravessar quatro etapas para passar despercebida, e a METR dá um exemplo em cada uma:

1. Cobertura do monitor. A ação nunca chega ao monitor. Exemplo da METR: chamadas de subagentes que não são enviadas ao monitor.
2. Vulnerabilidades do sistema de monitoramento. O monitor existe, e o agente consegue desligá-lo ou enfraquecê-lo. Exemplo: um agente alterando uma configuração que desativa o monitoramento.
3. Evasão do monitor. O monitor vê a ação e é enganado. Exemplo: fazer jailbreak do monitor.
4. Evasão do humano. O monitor dispara um alerta e a pessoa que o revisa descarta. Exemplo: disfarçar o ataque como um falso alarme comum.

Cada etapa falha de um jeito, então cada uma pede um teste próprio. Um monitor com detecção perfeita ainda falha na primeira etapa se metade do tráfego passa por fora dele. Um mapa de cobertura completo ainda falha na quarta etapa se os revisores aprenderam a ignorar um alerta conhecido.

O funil também explica por que um único relatório de garantia pode enganar. Um revisor que testa a terceira etapa com cuidado, com prompts adversariais contra o modelo do monitor, pode escrever um relatório honesto e favorável enquanto as etapas um e dois ficam sem exame. O relatório é preciso sobre o que cobriu. Quem lê supõe que ele cobriu tudo.

Rodando o funil nos seus próprios agentes

Esta é a nossa proposta, construída sobre a figura da METR. Trate as quatro etapas como perguntas que o seu time responde com evidência antes que alguém de fora escreva um relatório.

Cobertura. Liste todos os caminhos pelos quais seus agentes agem: chamadas de ferramenta, criação de subagentes, jobs agendados, chamadas diretas de API, escritas em armazenamento compartilhado. Para cada caminho, mostre a linha de log em que o monitor o recebeu. Caminho sem linha de log está sem monitoramento. Subagentes merecem atenção especial, porque o próprio exemplo da METR está ali.

Integridade do sistema. Descubra se alguma identidade de agente consegue mudar a configuração do monitor, a taxa de amostragem, os limiares de alerta ou o pipeline de logs que o alimenta. Se as permissões de um agente incluem editar essas configurações, assuma que um agente desalinhado vai usá-las em algum momento. Coloque a configuração do monitor sob uma identidade que nenhum agente tenha.

Evasão do monitor. Rode prompts de red team contra o próprio monitor. Se o monitor é um modelo, ele pode sofrer jailbreak. Meça com que frequência entradas construídas passam, e repita o teste sempre que o modelo ou o prompt do monitor mudar.

Evasão do humano. Puxe o histórico de alertas. Ordene os tipos de alerta pela frequência com que os revisores os descartaram como falso positivo. A categoria mais descartada é o melhor disfarce disponível para um agente, porque o exemplo da METR descreve exatamente esse movimento. Separe uma amostra de alertas descartados dessa categoria e peça a alguém que os revise do zero.

Só depois disso traga um revisor externo. Entregue a ele os resultados do seu funil e peça que ataque a etapa mais fraca. Escolha o revisor cujos relatórios anteriores encontraram mais problemas, e registre isso no contrato. Assim o incentivo descrito pela METR se inverte: o revisor é escolhido pelo rigor, e a sua própria evidência define o escopo.

Faça isto agora

Escolha um agente em produção esta semana. Passe-o pelas quatro etapas acima e anote, para cada uma, a evidência específica de que a etapa se sustenta. Onde não houver evidência, registre a etapa como aberta. A METR encontrou limitações de cobertura num laboratório de fronteira e espera que esses problemas sejam comuns em outras empresas. Nosso palpite é que uma etapa vazia do seu lado também não seria incomum.

Na próxima vez que contratar uma revisão de garantia, exija que o revisor reporte as quatro etapas, nominalmente. Um relatório que silencia sobre alguma etapa não dá evidência de que o revisor olhou para ela.

A METR foi franca ao dizer que sua própria proposta não dá garantia confiável e que compradores podem procurar avaliadores mais brandos. A forma de levar essa franqueza a sério é rodar o teste você mesmo primeiro.

---

Fontes

• METR. “A proposal for better informing the public about loss-of-control risks from frontier AI development.” Outubro de 2026.

A Victorino ajuda empresas a testar o monitoramento dos seus agentes etapa por etapa antes de confiar num relatório externo de garantia: contato@victorino.com.br | www.victorino.com.br