Seu Score de Benchmark É uma Média Sobre um Penhasco: Avaliação por Surpresa

Em uma pergunta do KramaBench, um agente marcou F1 1.00. Remova um único termo de alta informação da query, o token “TLE”, e o mesmo agente marcou 0.00 na mesma pergunta. A pergunta não ficou mais difícil de nenhuma forma que um humano perceberia. Uma palavra carregava quase todo o sinal recuperável, e removê-la colapsou a resposta.

Esse colapso é invisível no número que seu benchmark reporta. Uma suíte de aprovado/reprovado roda cada query uma vez, em uma única formulação, e faz a média dos resultados. A média fica em cima de uma curva que pode despencar de um penhasco a poucas palavras de distância, e o relatório nunca mostra o penhasco. O time de Frontier AI do Google Data Cloud publicou um método para desenhá-lo, e o método vale a pena roubar independente do que você ache do benchmark deles.

O método: gradue cada query por surpresa

A técnica se chama iSQR, e a ideia é pequena o bastante para reimplementar em uma tarde. Para cada query em um conjunto de avaliação, você mede o conteúdo de informação de seus termos usando TF-IDF, a mesma ponderação que ordenou documentos em motores de busca por duas décadas. Termos de TF-IDF alto são raros e discriminantes. Termos de TF-IDF baixo são comuns e carregam pouco sinal. “TLE” em um corpus de perguntas de astronomia é alta surpresa. “o” é baixa.

Uma vez que você tem um score de surpresa por termo, gera variantes calibradas de cada query:

Fácil: injeta ou preserva os termos de alta informação, para que a query aponte direto para a resposta.
Neutra: a formulação original.
Difícil: remove ou parafraseia os termos de alta surpresa, para que o agente tenha que recuperar a intenção a partir do contexto.

Agora você não tem um score por pergunta. Tem uma curva por pergunta, e plota o F1 do agente ao longo do eixo de dificuldade. O resultado do KramaBench é o que emerge: para pelo menos uma pergunta a curva é uma função degrau, 1.00 no neutro, 0.00 quando o token que sustentava a resposta some. Uma média simples desses dois pontos reportaria 0.50 e não descreveria nenhum deles.

Essa é a parte que muda como você lê qualquer leaderboard. Um modelo que marca 0.72 em uma suíte pode ser plano e confiável entre formulações, ou pode ser uma pilha de penhascos que por acaso resulta em média 0.72. O escalar não consegue dizer qual dos dois, e os dois agentes se comportam de formas completamente diferentes em produção, onde os usuários formulam as coisas como bem entendem.

O ponto ideal não é a pergunta mais fácil

O achado contraintuitivo é onde o sinal de avaliação realmente mora. Entre as variantes graduadas, queries de ambiguidade média marcaram mais alto do que as fáceis e as neutras: F1 0.81 para média contra 0.78 fácil e 0.76 neutra. A formulação mais fácil não produziu o melhor score.

A razão é que as variantes fáceis superespecificam. Quando você injeta cada termo de alta informação, entrega ao agente uma query tão apontada que a recuperação tem sucesso trivialmente, e você para de aprender qualquer coisa sobre a capacidade do agente de desambiguar. A banda média é onde o agente precisa trabalhar de verdade e ainda assim consegue ter sucesso. Essa é a banda que separa um agente forte de um sortudo. Monte seu conjunto de avaliação inteiramente com perguntas inequívocas e você vai medir o encanamento da recuperação, não o raciocínio.

Valide a régua antes de confiar no agente

Aqui está o achado que deveria impedir você de publicar qualquer avaliação graduada por dificuldade no piloto automático. O veredito depende de como você gera a ambiguidade.

Ancorar a ambiguidade em TF-IDF, derivando as variantes difíceis das estatísticas do corpus, produziu F1 do agente em torno de 0.85. Gerar a ambiguidade com um LLM, pedindo a um modelo para “deixar essa query mais difícil”, produziu F1 em torno de 0.34 no mesmo agente. Mesmo agente, mesmas perguntas subjacentes, dois estimadores de dificuldade, e a conclusão oscila meio ponto de F1. Uma dessas réguas está medindo o agente. A outra está medindo as manias do modelo que reescreveu as queries.

A lição generaliza para além deste artigo. Qualquer avaliação que gera seus próprios casos difíceis é tão confiável quanto seu estimador de dificuldade, e esse estimador é um componente que você precisa validar de forma independente. Uma régua TF-IDF é inspecionável: dá para listar os termos que ela pontuou alto, checar se são de fato discriminantes e reproduzir o score de maneira determinística. Um estimador de dificuldade baseado em LLM é uma segunda caixa-preta empilhada sobre a que você estava tentando medir. Se você não consegue explicar por que sua avaliação chamou uma query de difícil, sua avaliação não está medindo dificuldade. Está medindo um modelo que você não auditou.

O ground truth estava quietamente quebrado

O método também revelou defeitos no próprio KramaBench que um score escalar teria escondido. O time encontrou 124 tabelas fragmentadas que excediam os limites de recuperação do agente, perguntas cujas respostas fisicamente não podiam ser recuperadas dentro do orçamento de contexto que o agente recebeu. Encontraram perguntas apontadas para as tabelas-alvo erradas, onde a resposta rotulada vinha de uma tabela alheia à pergunta.

Um agente que falha nessas perguntas não está errado. O benchmark está. E um único score médio dobra esses itens quebrados no mesmo número das falhas legítimas, de modo que o modelo que corretamente recusa uma pergunta sem resposta marca igual ao modelo que alucina uma resposta para ela. Ground truth quietamente quebrado significa conclusões quietamente erradas, e você só descobre isso quando inspeciona a curva por pergunta em vez do agregado.

Faça isto agora

Você não precisa do benchmark do Google para usar a técnica. Pegue um conjunto de avaliação que você já confia e rode esta passagem sobre ele:

Pontue os termos. Compute TF-IDF sobre seu corpus de avaliação. Para cada pergunta, ordene os termos por surpresa. Os um ou dois termos do topo são seus tokens de sustentação.
Gere três variantes por pergunta. Fácil (termos preservados), neutra (original), difícil (termos de maior surpresa removidos ou parafraseados). Mantenha o estimador de dificuldade inspecionável. Se usar um LLM para parafrasear, registre o que ele mudou para poder auditar.
Plote a curva, não a média. Para cada pergunta, trace o F1 entre as três variantes. Marque toda pergunta onde a curva é uma função degrau. Esses são seus penhascos, e é onde o agente vai falhar em produção na primeira vez que um usuário deixar de fora a palavra mágica.
Audite os itens marcados em busca de ground truth quebrado. Um penhasco de 1.00 para 0.00 às vezes é uma borda real de capacidade e às vezes é uma pergunta mal rotulada. Ambos valem a pena encontrar. Só um é culpa do agente.

O resultado é um mapa de onde a capacidade do seu agente realmente termina. Um número de leaderboard nunca foi capaz de te dar isso.

Fontes

Google Data Cloud Frontier AI. “Frontier and Center: Who Evaluates the Evaluations?.” Julho de 2026.

A Victorino ajuda times a construir harnesses de avaliação que mostram onde a capacidade da IA realmente quebra: contato@victorino.com.br | www.victorino.com.br