Dois Modelos de Fronteira Zeraram na Única Métrica Que Importava

Fable 5 e Opus 4.8 zeraram na taxa de conversão em um benchmark de reconstrução de site conduzido pelo consultor de IA Vin Vashishta em julho de 2026. Nenhum dos dois modelos adicionou rastreamento de conversão ao site que construiu, a menos que fosse explicitamente instruído a fazer isso. Os dois tiveram notas altas nos artefatos que produziram: código limpo, páginas funcionais, design aceitável. No único número que o negócio de fato precisava, os dois falharam por completo.

Duas semanas depois, em um domínio completamente diferente, a prova em casa (take-home) da disciplina ECON 1170 da Universidade Brown teve média de 96 em 100, com 40 alunos tirando nota máxima. O professor então anunciou uma prova final presencial cobrindo o mesmo conteúdo. Dezoito desses alunos trancaram a disciplina. Mais nove faltaram à prova. Vinte e dois dos 27 que sumiram tinham nota máxima na prova em casa. Quem compareceu à prova presencial tirou, em média, 48.

Setores diferentes, riscos diferentes, mesma falha estrutural: o artefato parecia pronto, e o artefato mentia.

O Que Uma Métrica de Artefato Mede de Fato

Uma métrica de artefato avalia a coisa produzida, não o resultado que essa coisa deveria causar. Uma nota de benchmark mede se o código compila, se a página renderiza, se uma resposta bate com um gabarito. Uma nota de prova em casa mede se uma folha de respostas chegou correta ao corretor, sem medir quem, ou o quê, preencheu essa folha.

As duas são proxies. Proxies são úteis porque são baratas e rápidas de checar. São perigosas porque custo e velocidade são exatamente o que se otimiza assim que o proxy vira o alvo. O benchmark de reconstrução de site de Vashishta pediu aos modelos que reconstruíssem um site de negócio. Não pediu, por padrão, que verificassem se o site reconstruído convertia visitantes em clientes. Os dois modelos entregaram um site. Nenhum entregou um resultado de negócio, porque nada na tarefa os forçava a tratar o resultado de negócio como o alvo.

A prova em casa de Brown pedia que os alunos respondessem perguntas em casa, sem supervisão, com qualquer ferramenta disponível. Media se uma folha de respostas correta chegava. Não media se o aluno que a entregou conseguiria reproduzir essa competência sob condições de prova. A prova em casa avaliava o artefato. A prova presencial mediu o resultado: essa pessoa consegue de fato fazer o que o artefato alegava que ela sabia fazer.

A Distância É o Diagnóstico

A distância entre a nota do artefato e a nota do resultado funciona como sinal, não como ruído. Uma média de 96 na prova em casa ao lado de uma média de 48 na prova final diz, com precisão, quanto daquele 96 era competência de fato adquirida e quanto era emprestado. A própria pesquisa de alunos de Princeton colocou um número nesse empréstimo: 29,9% dos respondentes admitiram usar IA para colar em pelo menos uma prova ou trabalho. O gabinete da reitoria de Brown encontrou um uso rotineiro ainda maior: 56% dos graduandos e 67% dos pós-graduandos relatam usar IA generativa diariamente ou semanalmente.

Com números assim, o uso deixa de ser comportamento marginal de poucos alunos fora da curva e vira quase prática padrão, normalizada silenciosamente dentro de um sistema de avaliação que nunca checou por isso porque nunca precisou. O formato de prova em casa funcionou bem por décadas porque a capacidade de produzir uma folha de respostas correta e a capacidade de sustentar esse conhecimento sob pressão eram, para a maioria dos alunos, a mesma capacidade. A IA generativa desacoplou as duas. O sistema de avaliação não percebeu porque continuava medindo o artefato.

O benchmark de Vashishta faz a versão corporativa do mesmo ponto, com a ressalva de que os números vêm do desenho de teste do próprio autor, não de um estudo replicado de forma independente. Ele não está afirmando que um modelo é mais inteligente que o outro; a conclusão se sustenta independentemente de qual laboratório de fronteira produziu qual nota. A afirmação dele é mais estreita e mais útil: benchmarks no nível de artefato, o tipo que a maioria das avaliações de IA roda hoje, não revelam falhas de resultado de negócio a menos que o resultado esteja escrito dentro do teste. Um modelo pode passar em toda checagem de artefato numa reconstrução de site e ainda assim entregar algo que converte a zero, porque conversão nunca foi o que estava sendo avaliado.

Por Que o Conserto Não É “Adicionar uma Métrica Melhor”

O instinto ao ver uma distância dessas é parafusar uma métrica nova no processo já existente: adicionar uma checagem de conversão à etapa de QA, adicionar um componente oral à prova. Isso ajuda, mas trata o sintoma. O problema mais profundo é a ordem de construção. As duas falhas aconteceram porque o teste de resultado foi desenhado depois que o processo de artefato já estava em produção, como um adendo colado em algo construído para otimizar outro sinal.

A prova presencial de Brown não fazia parte do desenho original da disciplina. Foi uma resposta a um escândalo, adicionada sob pressão, meses depois que o formato de prova em casa já havia moldado como os alunos se preparavam. Funcionou como diagnóstico. Chegou tarde demais para funcionar como princípio de desenho. O benchmark de resultado de Vashishta existe porque os benchmarks convencionais de IA seguiam deixando passar falhas de negócio que só apareciam no momento em que um cliente perguntava “a receita se moveu?”. O benchmark teve que ser construído do zero, fora das suítes de avaliação dos próprios laboratórios de fronteira, porque nenhuma dessas suítes tinha sido desenhada em torno do resultado desde o início.

A lição de governança se generaliza para além dos dois domínios. Se você está avaliando um sistema de IA, um fornecedor ou uma equipe, e as únicas notas disponíveis são notas de artefato, trate isso como uma pergunta em aberto, não como uma avaliação concluída. Pergunte como seria o teste de resultado, se ele existe hoje e quem perceberia se o artefato e o resultado divergissem em 48 pontos.

Faça Isso Agora

Antes de aprovar qualquer entrega assistida por IA, seja um código, um relatório ou uma avaliação de contratação, escreva o resultado que o artefato deveria produzir, separado do artefato em si. Desenhe uma checagem para esse resultado antes de o trabalho começar, não depois que alguém desconfiar. Se você não consegue articular como deveria ser o resultado no mundo real, independente da entrega, você ainda não tem uma métrica. Você tem uma descrição do que espera que aconteça.

Fontes

Vin Vashishta / High ROI AI. “Fable 5 vs Opus 4.8: Outcomes-Based For Frontier AI Labs.” Julho de 2026.
Ars Technica. “We Cannot Choose to Become Idiots.” Julho de 2026.

A Victorino ajuda equipes a embutir testes de resultado na adoção de IA em vez de confiar em métricas de artefato: contato@victorino.com.br | www.victorino.com.br