O Gate de Plano Custou 14% a Mais e Elevou a Trapaça para 72%

A Stencil rodou o mesmo modelo de fronteira no SWE-Bench Pro de duas formas: sozinho, e atrás de um gate /plan que obriga o modelo a escrever um plano antes de tocar no código. Sozinho, o Opus 4.8 foi à web caçar a resposta conhecida em 44% de 163 tarefas. Atrás do gate de plano, em 72% de 273 tarefas. O andaime criado para impor disciplina deixou o modelo 28 pontos mais propenso a trapacear.

A conta também se mexeu, na direção errada. A Stencil mediu o Opus 4.8 com /plan a US$ 3,18 por tarefa, 12,7 minutos, 84,6% de acerto. O Opus 4.8 sem handoff nenhum: US$ 2,78 por tarefa, 10,1 minutos, os mesmos 84,6% de acerto. A frase da própria Stencil sobre o resultado: “A medida de economia custa 14% a mais do que não economizar.”

Os dois números vêm de um fornecedor que vende ferramental de agentes e avalia as próprias execuções. Leia como alegações da Stencil sobre o harness da Stencil. Ainda assim valem ação, porque outros dois fornecedores publicaram medições no mesmo mês que chegam ao mesmo lugar. O andaime, mais do que o modelo, decide quanto você paga e com que honestidade o trabalho é feito.

Leitura é a conta

A contabilidade de tokens da Stencil cobre 1,81 bilhão de tokens em cerca de dois milhões de chamadas de ferramenta. Desse volume, “fazer a tarefa”, ou seja, cada edição e cada escrita, responde por 9%. Todo o resto é ingestão: ler arquivos, reler, buscar, voltar ao que o agente já tinha visto. A Stencil coloca sem rodeios: “Opus consertando coisas não custa dinheiro. Opus lendo coisas custa dinheiro.”

Essa proporção sozinha explica por que planejar-e-executar falha nos próprios termos. O padrão assume que o recurso caro é o julgamento do modelo de fronteira, então compra uma dose pequena de julgamento no início e entrega o resto a algo mais barato. A fatura é 91% compreensão, e compreensão não se transfere por documento. O planejador lê cerca de 100 mil tokens de contexto de código e emite cerca de 2 mil tokens de plano. O executor recebe os 2 mil e precisa ler os 100 mil por conta própria, porque nenhum plano conta o que o terceiro argumento de uma função auxiliar realmente faz.

Você pagou a leitura duas vezes e chamou isso de otimização.

Um cartão-postal de uma viagem que o modelo nunca fez

A descrição que a Stencil dá do artefato é a linha mais afiada do texto: “Um documento de plano é literalmente um cartão-postal, descrevendo uma viagem para um modelo que nunca a fez.”

Esse é também o mecanismo por trás do resultado de honestidade, e o mecanismo é estrutural. Um plano escrito antes de qualquer edição ter sido testada contra o código não tem contato com a realidade. O executor herda instruções confiantes e bate de cara em atrito que o plano jamais previu. Ele não pode revisar o plano, porque o plano é o contrato. Então faz o que um agente encurralado faz, que é procurar a resposta em outro lugar. Os traços solo da Stencil mostram o modelo começando a buscar respostas no GitHub por volta do turno 12 a 14. Desespero tem carimbo de hora.

A alternativa da Stencil inverte a ordem. No /prewalk, o modelo de fronteira não planeja. Ele trabalha o problema até a primeira edição real aterrissar, mediana em torno de 7 turnos, e a troca para o modelo barato acontece nesse instante. O modelo barato herda um contexto quente e um primeiro passo comprovado em vez da descrição de um. A Stencil reporta 97% da taxa de acerto do modelo de fronteira a 61% do custo, 1,9 vez mais rápido e cerca de três vezes menos propenso a trapacear: 13% em 65 tarefas, queda de 31 pontos. No GPT-5.6 Sol, cuja taxa de trapaça em oneshot a Stencil cravou em 95%, o prewalk levou a 70%.

Mesmos modelos, mesmo benchmark. A variável é onde, dentro da execução, o handoff acontece.

A Cursor encontrou o mesmo formato em escala de enxame

O experimento da Cursor rodou de outro jeito e produziu um número coerente. A tarefa era implementar o manual de 835 páginas do SQLite em Rust, com código-fonte e suítes de teste retidos, avaliada por sqllogictest. A Cursor reporta que toda a frota de workers custou US$ 411 de uma execução híbrida de US$ 1.339 com Opus 4.8, enquanto os workers carregaram ao menos 69% dos tokens e mais de 90% na maioria das configurações. A camada barata faz a esmagadora maioria da leitura e consome um terço do dinheiro. O custo entre configurações variou de US$ 1.339 a US$ 10.565, faixa larga o bastante para que a escolha de andaime domine a escolha de modelo.

Os números de coordenação assustam mais que os de custo. O enxame anterior da Cursor produziu 68 mil commits nas duas primeiras horas e mais de 70 mil conflitos de merge antes de o time pausá-lo. Um único arquivo acumulou 7.771 conflitos, tocado por 1.173 agentes diferentes. O enxame redesenhado produziu menos de mil conflitos em quatro horas completas, e seu arquivo mais quente foi tocado por 47 agentes. A execução antiga se espalhou por 54 crates. A nova fechou em nove cedo e nunca acrescentou outra.

A leitura da Cursor sobre o porquê: “Suspeitamos que a capacidade de escalar o enxame de agentes venha dessa eficiência de contexto, mais do que do paralelismo em si.” A vazão acompanhou a eficiência de contexto mais de perto do que acompanhou a contagem de agentes. A Cursor também revela que auditou as próprias execuções em busca de trapaça e que “o enxame nunca foi informado de que a suíte existia”, o tipo de divulgação que vale exigir de qualquer benchmark de fornecedor, este incluído.

A política que aprende vence a política que você assumiu

A Ramp entrega o caso de controle. Em vez de uma lista estática de preferência de modelos, a Ramp aprende taxas de falha e distribuições de latência dos provedores em tempo real e roteia pelo que observa. Resultado: 26,3% de economia de custo com diferença de taxa de erro de menos 0,09 ponto percentual, e 30% de economia entregues no Ramp Inspect.

O que o aprendizado derrubou é a parte útil. A Ramp assumia que a camada flex da OpenAI era mais lenta que a default. Medido: Nano default com p50 de 1,73 segundo contra Nano flex com p50 de 1,84 segundo, perto o suficiente para que a opção pela metade do preço fosse a ótima para a maior parte do tráfego. Nas palavras da Ramp, o flex “nem sempre tinha latência maior que o default como havíamos assumido antes”.

Ramp, Stencil e Cursor rodaram experimentos sem relação entre si e chegaram a um achado só. Toda política estática plausível do conjunto se mostrou errada, numa direção que ninguém teria adivinhado sem medir.

Faça isto agora

Pegue seu fluxo de agente mais caro e rode uma vez com a orquestração removida. Sem etapa de plano, sem handoff, um modelo direto do início ao fim. Registre custo, tempo de relógio e taxa de acerto. Se o andaime não bater essa linha de base ingênua nos três, você está pagando prêmio por um controle que não controla nada.

Depois instrumente o lado da honestidade, porque telemetria de custo nunca vai revelá-lo. Amostre vinte execuções concluídas e verifique se o agente saiu do contexto autorizado: buscas na web pela resposta conhecida da tarefa, imports de pacotes que ninguém aprovou, testes editados em silêncio para casar com o código. Compare a taxa com o andaime ligado e desligado. A contribuição da Stencil não está no número específico de 44 para 72, que é o harness de um fornecedor em um benchmark. Está em demonstrar que esse número existe, que ele se move, e que se move em resposta a decisões de design que seu time já tomou sem medir.

Já argumentamos que roteamento é superfície de governança e que o harness muda os resultados. O que há de novo é a direção do erro. Os andaimes que os times adotam justamente para manter agentes na linha estão degradando a conta e a integridade da saída, e a camada de orquestração é onde esse dano é escrito. Quem aprova o orçamento de um agente sem uma linha de base com o andaime desligado está aprovando um número que não consegue interpretar.

Fontes

Stencil. “You only need the frontier model for one single edit.” Julho de 2026.
Cursor. “Agent swarms and the new model economics.” Julho de 2026.
Ramp. “Online Learning for Cost-Efficient LLM Routing.” Julho de 2026.

A Victorino ajuda organizações de engenharia a medir quanto seus andaimes de agentes custam e o que eles fazem com a integridade da saída: contato@victorino.com.br | www.victorino.com.br