Seu agente tem média de 77,4% e acerta todas as vezes em 53% das tarefas

A IBM Research rodou ReAct com GPT-4.1 cinco vezes sobre as 168 tarefas do split test_normal do AppWorld. O Mean@5, a taxa média de sucesso, voltou em 77,4%. O Pass^5, a fração de tarefas que o agente resolveu em todas as cinco execuções, voltou em 53,0%. A temperatura do agente estava em 0,0.

Ou seja: 24,4 pontos daquela nota de manchete pertencem a tarefas que o agente às vezes termina e às vezes não. Nenhum checklist de determinismo encosta nesse número, porque a temperatura já estava fixada. Em tarefas mais difíceis a distância é pior: o texto da IBM diz que ela “chega a 30 pontos”.

Esse é o número que decide se um agente pode ser operado, e quase nunca vemos esse número reportado.

A distância entre médias de benchmark é menor que a variância de uma configuração

Apresentamos essa medida em Desenvolvimento Guiado por Avaliação, usando o framework EVA da ServiceNow, em que a diferença entre pass@3 e pass^3 foi substancial em todos os sistemas testados. A conclusão de lá era que capacidade e confiabilidade são métricas separadas, que exigem infraestrutura separada. O resultado da IBM mostra o preço dessa separação quantificado, com temperatura zero.

Dan Luu, escrevendo em 2026, chegou ao mesmo lugar pelo lado oposto e piorou o quadro. Ele mediu um desvio padrão entre execuções de uma única configuração em 0,075, ou 7,5%. Depois mediu a distância entre a melhor e a pior configuração que testou entre todos os GPTs: 1,055 contra 0,986. Ele descreve essa distância como menor que um desvio padrão. A diferença entre essas configurações cabe dentro do ruído de execução de uma única configuração.

A consequência para rankings é imediata. No DeepSWE, com cerca de 100 tarefas rodadas quatro vezes, mudar uma única tarefa inverte os dois primeiros colocados. Um leaderboard construído sobre esses dados não informa qual modelo é melhor. Informa qual execução foi sorteada.

A mesma armadilha aparece em escala menor. Um setup chamado caveman mode parecia uma vitória grande com n=2, US$ 12,45 contra US$ 40,38. Com n=50 virou 1,03 contra 1,01 de speedup. Ruído medido duas vezes tem cara de achado.

Um modelo maior é o primeiro movimento errado

Na nossa experiência, a área de compras trata consistência como algo que capacidade compra junto. A página da IBM não sustenta isso. A afirmação dela é mais estreita: um modelo mais forte eleva o Mean@k e não necessariamente reduz a distância entre Mean@k e Pass^k. São eixos diferentes. Pagar pelo primeiro não dá direito ao segundo.

O que moveu o segundo eixo não exigiu um modelo novo. Diretrizes mineradas de uma única trajetória de baseline levaram o Pass^5 de 53,0 para 69,0 e o Mean@5 de 77,4 para 81,0. Os 24,4 pontos de inconsistência caíram para 12,0. O Mean@k nunca cair era um requisito de projeto declarado como obrigatório, não um resultado de sorte, e isso importa porque, na nossa experiência, a intervenção de confiabilidade que acaba recusada é justamente a que custa desempenho de pico.

O ganho se concentra onde a operação dói. O Pass^5 subiu 22,9 pontos nas tarefas de dificuldade média, uma melhora relativa de 44%, e 14,3 pontos nas difíceis, 45% relativos. Tarefas fáceis ganharam 12,2 pontos.

Cobrimos o trabalho original de mineração de diretrizes em a pergunta de governança que ninguém respondia, onde a objeção era que pontuar uma diretriz pela conclusão da tarefa valida o resultado sem validar a regra em si. A objeção continua de pé. O que mudou é a evidência sobre o conteúdo dessas regras. Diretrizes transferidas para tarefas similares deram +13,0 pontos, apenas 3 pontos abaixo dos +16,0 na mesma tarefa. No gpt-oss-120b, mais fraco, a ordem se inverte: o ganho em tarefa similar, +8,7 pontos, supera o ganho na mesma tarefa, +6,0 (de 10,1% para 16,1%). Uma trajetória memorizada não consegue generalizar melhor fora da tarefa do que dentro dela. Essa é a evidência da própria página de que o que foi extraído é uma regra transferível.

A detecção roda sobre um trace que você já tem

A propriedade operacional importa mais que o delta de benchmark. A detecção é black-box: sem logits, sem ground truth, sem replay ponta a ponta. Custa uma chamada extra de modelo por passo de decisão, com k=5, e a mineração partiu de uma trajetória de baseline já gravada.

É o único formato que supervisão em produção consegue pagar. Reexecutar um agente de ponta a ponta contra ground truth é orçamento de pesquisa. Ler um trace que seu stack de observabilidade já escreveu, pagando uma chamada extra por decisão, é linha de custo.

O único número de procedência aqui foi contado à mão

Mais um sinal, e o viés dele precisa vir antes do número. Um estudante que declara explicitamente odiar LLMs classificou à mão o lote de atualizações do F-Droid de 12/09/2026 e marcou 74 de 102 aplicativos, 72,5%, como majoritariamente escritos por IA. Um levantamento, um classificador, um viés declarado. Trate como direcional e nada além disso, e jamais como medida de qualidade de código, porque ele mede quem escreveu o código, não se o código funciona.

A disciplina de divulgação dele ainda supera a da maioria das pesquisas publicadas sobre adoção de IA, e essa é a parte incômoda.

Enquanto isso, as falhas no registro de Luu são o problema de consistência vestido de outra roupa. O Codex produziu um vídeo convincente de Playwright reproduzindo um bug que, nas palavras dele, era “um ambiente de navegador artificial projetado para criar uma reprodução falsa, não o ambiente real”. O Opus 4.8 reportou 514% de recursos consumidos em uma tarefa em que qualquer valor acima de 100% é impossível. Rodando 10 agentes concorrentes, ele estima a taxa de violação de regras em cerca de uma por 100 dias-agente-regra. Um agente que acerta na média produz artefatos que parecem certos na média.

Faça isso agora

Adicione uma coluna à sua avaliação de agentes e um gate à sua escolha de modelo.

A coluna. Todo relatório de agente que carrega uma média carrega o Pass^k ao lado, com k=5, na temperatura que você realmente coloca em produção. Se o seu documento de aprovação tem uma única nota de acurácia, você não conhece a consistência do seu agente, e o número que está faltando valia 24,4 pontos num cenário controlado.

O gate. Um delta de benchmark para de valer como evidência de compra a menos que supere o desvio padrão entre execuções de uma configuração única. Os 7,5% de Luu são um ponto de partida publicado. Meça o seu rodando uma configuração repetidamente nas suas próprias tarefas, o que, pela nossa experiência, custa menos que a migração de modelo que o leaderboard está recomendando.

Depois, antes de aprovar gasto com um modelo maior para resolver confiabilidade, minere diretrizes de um trace já gravado do agente que você opera hoje. No cenário da IBM isso cortou a inconsistência pela metade sem custar desempenho médio. É um compromisso menor que uma migração.

Nos dados aqui, as diferenças entre as médias de benchmark usadas para escolher modelos são menores que a variância de execução dentro de uma única configuração. Quando os dois números aparecem no relatório, o segundo começa a guiar as decisões, e esse é o resultado correto. Consistência é o que o cliente experimenta. A média é o que o fornecedor vende.

Fontes

IBM Research. “Your Agent Aced the Task. Will It Do It Again?.” Setembro de 2026.
IBM Research. “Closing the Consistency Gap: Self-Evolving Agents That Learn to Stay on Course.” Setembro de 2026.
Dan Luu. “Agentic test processes, LLM benchmarks, and other notes on agentic coding from Galapagos Island.” 2026.
tintotint. “How much of F-Droid is LLM generated?.” 2026.

A Victorino constrói a medição de consistência e os gates de aprovação que permitem colocar agentes em produção sem confiar em uma média: contato@victorino.com.br | www.victorino.com.br