Dois Modelos a Um Ponto de Distância Carregam Riscos Regulatórios Opostos

Em uma extração de 108 campos a partir de um relatório de avaliação regulatória europeu publicado, o Opus 4.8 teve taxa de omissão mais alta e taxa de fabricação mais baixa que o GLM 5.2. Os dois modelos ficam a poucos pontos um do outro na nota geral do benchmark. Para um dossiê regulatório, esses dois modos de falha não são equivalentes em nenhum sentido que importe. Um campo omitido volta como carta de exigência. Um campo fabricado volta como achado de integridade de dados contra o patrocinador do estudo.

Essa comparação vem do ClinReg, benchmark publicado em julho de 2026 por Suchismita Padhy, Wenzhe Xue, Niklas Nielsen e Arjun Bansal, da Everest / Log10. Eles rodaram 19 modelos (12 proprietários, 7 de pesos abertos) três vezes cada em tarefas reais de trabalho regulatório e de ensaios clínicos, usando a média. A manchete que todo mundo repetiu foi o custo: GLM 5.2 e Kimi K3 custaram 33,8% e 59,6% do GPT 5.6 Sol por tarefa em média, com o GLM 5.2 rodando a cerca de um décimo do preço do Opus 5. Esse número é real e é chato. O resultado interessante está enterrado embaixo dele, e muda como um time regulado deveria selecionar um modelo.

Mesma Nota, Falha Oposta

O cluster de topo é apertado. GPT 5.6 Sol marcou 88,4 com desvio padrão de 4,6. GLM 5.2 marcou 87,4 com desvio de 5,6. Kimi K3 marcou 86,9 com 4,6. Um segundo cluster (GPT 5.6 Terra, GPT 5.5, Grok 4.5, Opus 5) vai de 84,3 a 86,3 com uma dispersão de custo de 11x. Quando a variância entre execuções é dessa magnitude em relação ao espaçamento entre modelos, a ordenação dentro de um cluster vira ruído.

Os autores dizem isso diretamente: “Paridade não é uniformidade. Dois modelos a um ponto de distância no leaderboard não são intercambiáveis em produção. Escolha pelo perfil de erro, não pelo ranking.”

A instrução tem dente porque o perfil de erro se mede de forma estável entre execuções, enquanto a posição no ranking oscila. O achado deles sobre onde os modelos de fato divergem: “Os modelos foram amplamente confiáveis em extrair informação explicitamente presente na fonte; as diferenças maiores apareceram quando campos exigidos estavam ausentes.” Todo modelo lê bem. O que os separa é o comportamento na borda da evidência, onde um campo exigido não tem fonte que o sustente e o modelo precisa decidir entre deixar um buraco e preencher um.

Dois modelos podem chegar à mesma nota agregada fazendo a escolha oposta nesse ponto. Um modelo que omite produz uma submissão incompleta que o revisor pega. Um modelo que fabrica produz uma submissão de aparência completa que passa na revisão e cai na auditoria. Na nossa leitura anterior sobre engenharia de harness em ambiente regulado, a lição era que o controle pertence ao harness e não ao prompt. Aqui está o análogo na medição: a métrica pertence ao nível da falha que te preocupa, e não ao nível de uma média.

Verificação Um: Quebre Sua Nota em Fabricação e Omissão

Rode isto no seu próprio stack esta semana. Pegue a tarefa que seus agentes de fato executam sobre saída regulada ou contratual. Monte um conjunto reservado com rótulo humano de verdade-terreno e pare de reportar um único número de acurácia. Reporte duas taxas.

Taxa de fabricação: campos que o modelo preencheu e que a fonte não sustenta. Taxa de omissão: campos exigidos pelo schema que o modelo deixou vazios quando a fonte os sustentava. As duas são contagens determinísticas contra rótulo humano, calculáveis com um script simples.

O validador do ClinReg mostra o formato de uma regra de pontuação que resiste a gaming. Ele começa em 10 e subtrai 1,0 por erro, 0,3 por aviso e 0,1 por nota informativa, cada um com teto, e piso de 1,0. Invariantes são afirmadas em código: exatamente 254 sujeitos, e AVAL = BASE + CHG. Na tarefa de correspondência célula a célula, as taxas por arquivo têm peso igual, com tolerância de mais ou menos 0,01, justamente para que um modelo “não consiga inflar a própria nota acertando as duas listagens gigantes (cerca de 88 mil e 12 mil células) enquanto erra a tabela de eficácia primária de 28 células.” Peso igual por artefato derrota o truque do volume. Adote essa ponderação ou o seu dashboard vai premiar um modelo por acertar as partes que ninguém lê.

Com as duas taxas na mão, a decisão de seleção muda de forma. Você deixa de perguntar qual modelo é melhor. Passa a perguntar qual falha o seu processo a jusante consegue absorver. Um pipeline com checagem humana obrigatória de completude tolera omissão barato e fica cego para fabricação. Escolha de acordo.

Verificação Dois: Calibre o Juiz Antes de Confiar Nele

A maioria dos times que avalia saída de agente em escala usa um modelo como juiz. O ClinReg mediu os juízes antes de usá-los, e as medições são grandes o bastante para invalidar um arranjo não calibrado.

Numa escala de 0 a 10, Gemini 3.1 Pro e GLM 5.2 saíram lenientes, com média de 8/10. GPT 5.5 saiu rigoroso, com média de 6/10. Dois pontos inteiros de desvio sistemático separam juízes avaliando o mesmo trabalho. Os deltas de autopreferência vieram na mesma magnitude: mais 1,23 para o Gemini 3.1 Pro e mais 0,67 para o GLM 5.2, contra menos 0,14 para o Opus 4.8. Um time que usa um juiz único da mesma família do modelo sob teste está lendo o viés desse juiz, com uma nota por cima.

A resposta estrutural deles vale cópia integral. Os juízes emitem evidência verificada na fonte em vez de notas. Só contam como corretos os achados confirmados por pelo menos três dos quatro juízes. Um modelo “Chairman” separado então atribui a nota a partir da evidência confirmada. O resumo dos próprios autores: “Não confie em um único juiz LLM.”

A versão executável para o seu stack:

Avalie de 30 a 50 itens com rótulo humano usando cada juiz candidato e registre o desvio médio de cada um. Esse desvio é a sua constante de calibração.
Rode cada juiz contra saída da própria família e de outras famílias, depois subtraia para obter o delta de autopreferência. Qualquer coisa acima de meio ponto desqualifica aquele juiz para aquela família.
Troque a função do juiz de pontuar para citar. Peça o trecho do texto-fonte que sustenta ou contradiz uma afirmação.
Exija concordância da maioria de juízes independentes antes de um achado contar, e deixe um modelo separado fazer a aritmética.

Isso custa mais do que uma única chamada de juiz, que é exatamente a tensão que mapeamos no gargalo de custo de avaliação. O custo também é a razão pela qual a maioria dos times pula a calibração e depois age sobre números errados em dois pontos, numa direção desconhecida.

O Que o Benchmark Não Consegue Te Dizer

Os autores divulgam os próprios fatores de confusão, e essa divulgação é a evidência mais forte de que o trabalho é honesto. O harness varia por família de modelo: Claude Code para Claude, Codex para GPT, OpenCode para Gemini e para os pesos abertos. Modelo e scaffold, portanto, vêm colados. Nas palavras deles: “O harness é parte do modelo. Todo resultado agêntico aqui é um modelo e um scaffold: rigor do validador, critério de parada, comportamento de retentativa. Sob a nossa configuração, vários resultados se moveram mais com o modo como um modelo foi rodado do que com qual modelo ele era.”

Leia isso como um aviso sobre a sua própria compra. Um ranking de benchmark que você não produziu foi medido dentro de um scaffold que você não roda. Ele transfere mal.

Mais duas ressalvas entram no registro. Fable 5 e Muse Spark 1.1 recusaram as tarefas do benchmark por razões de biossegurança e foram removidos da análise, então o campo está incompleto por construção. E a Everest / Log10 vende serviços de avaliação que este benchmark motiva, o que torna a direção da conclusão comercialmente conveniente mesmo onde o método é sólido. O leaderboard por modelo foi publicado apenas como imagem; os números acima são os que aparecem no texto corrido.

Um último achado merece atravessar para o desenho. O formato da tarefa decide qual comportamento vence. Na tarefa de extração, “contenção importou mais que persistência”. Na tarefa de tabelas e listagens, “TLF recompensa iteração sustentada”. O mesmo modelo ajustado para uma está errado para a outra, e nenhuma posição isolada de leaderboard captura isso.

Faça Isto Agora

Pegue a saída de agente de maior consequência que você tem e puxe os erros do mês passado. Separe em duas pilhas: o que o agente deixou de fora, e o que o agente inventou. Se você não conseguir separar porque nunca rotulou a verdade-terreno, essa é a primeira semana de trabalho. Depois verifique se o que quer que avalie aquela saída já foi medido alguma vez contra rótulo humano. Um juiz que você não calibrou não é um controle, e um ranking de benchmark que você não mediu você mesmo não é justificativa de compra.

Fontes

Everest / Log10 (Suchismita Padhy, Wenzhe Xue, Niklas Nielsen, Arjun Bansal). “Open-Weight LLMs Have Caught Up on Accuracy.” Julho de 2026.

A Victorino ajuda organizações reguladas a construir a camada de medição que torna a escolha de modelo defensável diante de um auditor: contato@victorino.com.br | www.victorino.com.br