Queriam Pagar US$ 20 por Revisão, e Usaram Mais Agentes para Escrever Menos

O mercado de revisão de código com IA converge para um preço, e a Wealthfront escreveu esse preço justamente para recusá-lo: “um preço unitário em torno de US$ 0,25 por revisão e 2-3 minutos”. A posição declarada do time foi a inversão exata. “Queríamos pagar US$ 20 por revisão e estávamos felizes em esperar 15 minutos ou mais.”

O sistema que eles colocaram em produção, chamado Iris, opera hoje em média a dez minutos e US$ 4 por revisão. Dezesseis vezes o preço unitário do mercado, e um quinto do que disseram estar dispostos a gastar. Os dois números importam. Os US$ 20 são um teto orçamentário declarado, uma permissão interna para gastar. Os US$ 4 são o que a arquitetura de fato consumiu depois de pronta. Quem cita os US$ 20 como referência de custo está citando uma intenção.

O que a permissão comprou é a parte interessante. Não foi um modelo maior, nem mais achados.

O orçamento foi para uma divisão adversarial

O Iris roda três modelos em papéis definidos. Opus 4 atua como juiz imparcial. GPT-5 é descrito como “a acusação bem paga”, instruído a “investigar e encontrar evidências do problema”. Gemini 3.0 Flash é “a defesa barata”, instruída a “encontrar evidências de que isso não é um problema”.

O prompt da acusação carrega uma válvula de escape explícita: “resultados nulos são esperados e estão bem”. Essa cláusula sustenta o design inteiro, e a razão está dita com todas as letras por Austin McKee no artigo: “LLMs têm forte viés para fazer o que você pede. Se você pede a um LLM para encontrar problemas, ele encontra problemas, mesmo que precise inventá-los.”

A maioria dos pipelines de revisão é um modelo único mandado achar problemas. A saída de um pipeline assim mede a intensidade do pedido. A qualidade do código fica de fora da conta. A Wealthfront gastou o orçamento construindo um oponente cuja função é fazer o achado sobreviver ao contra-argumento, mais um juiz sem participação em nenhum dos dois lados.

O preço assimétrico faz parte do desenho. A acusação é cara porque fabricar um defeito plausível é fácil e demonstrar um defeito real é difícil. A defesa roda em um modelo barato e rápido porque refutar um achado inventado geralmente exige apenas ler o código ao redor.

A rubrica é o artefato de verdade

A Wealthfront publicou uma escala humana de avaliação, de 1 a 5. O nível 1 é “feedback ativamente prejudicial”. O nível 2 é “resposta estranha e irritante”. Os dois carregam a mesma glosa: “me arrependo de ter tido que ler esse feedback do bot”. O nível 5 é “o bot ajudou a impedir que um bug entrasse no merge”.

Dois dos cinco níveis são valor explicitamente negativo. Nem neutro, nem sinal fraco. Negativo. Uma rubrica que admite que a própria ferramenta pode pontuar abaixo de zero é um instrumento diferente de um benchmark que conta achados, porque obriga o time a subtrair.

Escrevemos em fevereiro sobre o paradoxo do benchmark, e em abril sobre quem revisa o revisor. Esta rubrica é a primeira tentativa publicada que vi de transformar confiança no revisor em objeto pontuado e acompanhado pelo comprador, em vez de uma alegação de satisfação de propriedade do fornecedor. E é barata de copiar. Qualquer time que rode um revisor de IA hoje consegue colocar esses cinco níveis em uma planilha nesta semana e começar a avaliar comentários.

De uma curva de sino para uma escada

O resultado reportado da reforma adversarial é uma mudança de distribuição. As notas saíram de uma curva de sino centrada em 3 para o que o time descreve como “escada”: um aumento pequeno de quatros e cincos, e “uma queda dramática no número de uns e dois”. A maioria dos pull requests hoje não recebe comentário algum, e poucos recebem mais de um.

A Wealthfront publicou essas distribuições apenas como gráficos, sem percentuais numéricos. O formato é a afirmação; a magnitude não está disponível. Leia de forma qualitativa.

A direção é o que um líder de engenharia deveria notar. O retorno medido de rodar três modelos de fronteira contra cada diff não apareceu em mais bugs capturados. Apareceu na quase eliminação dos comentários que faziam o engenheiro se arrepender de abrir o PR. A confiança em um revisor é destruída pelo pior output dele, muito antes de ser construída pelo melhor, e a aritmética é cruel: um comentário errado e confiante ensina o engenheiro a passar o olho nos próximos dez, inclusive no correto.

Mais agentes, menos comentários. Essa foi a troca que o dinheiro comprou.

Menos ferramentas, mais sistema de arquivos

A outra reversão de projeto é sobre ferramental. “Dezenas de ferramentas sob medida para recuperar dados (leia-se: MCP) inevitavelmente levam a desempenho ruim de chamada de ferramenta e inchaço de contexto.” A resposta deles foi colapsar toda a superfície de recuperação em um sistema de arquivos em sandbox com uma única ferramenta read_file e um shell.

Isso contraria o reflexo da maioria das arquiteturas de agentes de 2026, que tratam cada capacidade nova como um servidor MCP novo. Na escala da Wealthfront o reflexo quebra: mais de 20 milhões de linhas de código, a maior parte delas testes, distribuídas em mais de 350 repositórios. Um dos agentes de pesquisa dirigida carrega cerca de 80 verificações de qualidade escritas por engenheiros. Passar isso por dezenas de ferramentas estreitas custa o contexto que o modelo precisa para raciocinar.

O revisor deliberadamente não bloqueia

O Iris dispara quando o autor clica em “Ready for Review”, e permanece consultivo. Nas palavras deles, “a revisão por pares bloqueia, a revisão por IA não”.

Essa escolha é fácil de ler como cautela e vale ser lida como governança. Um revisor não bloqueante que produz um comentário ruim custa trinta segundos de irritação a um engenheiro. Um revisor bloqueante que produz o mesmo comentário custa uma negociação com uma máquina que não aceita argumento. Manter a revisão humana como gargalo mantém o revisor responsável sendo uma pessoa, que é exatamente a pergunta que dissemos estar sendo respondida por omissão na maioria dos times.

Isso também protege a medição. Comentários que o engenheiro pode ignorar livremente geram avaliações honestas. Comentários que mantêm o merge refém geram obediência.

Faça isso agora

Escolha seus cinco níveis e comece a avaliar. Defina como é o valor negativo no seu time, na sua base de código, com as palavras que seus engenheiros usam de fato quando um comentário de bot desperdiça o tempo deles. Avalie uma semana de comentários de revisão por IA contra essa escala. Se os níveis 1 e 2 forem mais do que uma pequena minoria do volume, seu revisor está gastando confiança mais rápido do que ganha, e nenhum aumento de taxa de detecção conserta isso.

Depois confira o que o seu revisor está instruído a fazer. Se a instrução for alguma versão de “encontre problemas neste diff”, você tem uma máquina otimizada para satisfazer essa instrução. Dê a ela um oponente, ou no mínimo dê permissão explícita para não retornar nada.

---

Fontes

• Wealthfront Engineering. “Experiments with AI Code Review.” Agosto de 2026.

A Victorino ajuda times de engenharia a definir quanto os revisores de IA podem custar em confiança, e a medir isso: contato@victorino.com.br | www.victorino.com.br