Três Modelos de Decisão Chegaram. Nenhum Decide Quando se Abster

O Kev-27B aceitou 54% das perguntas com 5,5% de erro observado. O Kev-9B aceitou 36% com 6,7%. Essas duas linhas vêm da página em que Jared Palmer apresenta o Kev, e são o único lugar que encontramos, entre três lançamentos de outubro de 2026, onde o adiamento tem preço. O Clef, da Cloudflare, o Kev e o Decider 2B, do projeto Strands Agents, são três modelos de decisão, e no texto das páginas que lemos nenhum deles decide se deve se abster.

Uma declaração antes. O Jev, da TypeSafe, é uma ferramenta que a Victorino usa no seu próprio pipeline de descoberta de conteúdo. Duas das três páginas abaixo também afirmam compatibilidade com a API dele, então temos interesse na forma como a categoria é julgada.

O escopo importa. Lemos três páginas, cada uma duas vezes, sem divergência entre os leitores. As três são publicadas pelo fabricante ou pelo autor, e nenhuma relata execução independente. Toda ausência apontada abaixo é uma ausência no texto da página. Nada aqui afirma o que os modelos conseguem ou deixam de fazer.

Onde Cada Página Coloca a Decisão de Abster

O post do Clef diz que um modelo de decisão “will return typed answers with probabilities (outputs), which your code can use to route the ticket, trigger an escalation, or defer to a human.” Ou seja, devolve respostas tipadas com probabilidades que o seu código pode usar para rotear, escalar ou adiar para uma pessoa. O adiamento acontece no seu código. A página não descreve nenhuma saída de abstenção dentro do modelo.

A página do Kev é mais direta. “Kev only scores the options you supply. It doesn’t generate explanations or retrieve missing facts.” E: “Your code sets the threshold.” O caso em que nenhuma das opções fornecidas está correta fica com quem chama.

A Strands diz que os seus modelos de decisão “always produce an answer from the selected options”. O adiamento mora no framework: o tratador de intervenção devolve Proceed, Deny, Confirm ou Guide. A página também diz que o exemplo dela “is an illustration rather than a recommendation, so the questions, the threshold and the policy were all picked by hand.”

Três páginas, um padrão. O modelo responde, e quem chama decide o que fazer com uma resposta em que talvez não deva confiar. É uma divisão de trabalho razoável. Na nossa leitura, ela também empurra a parte do desenho que mais importa para um portão para fora do artefato que recebe o benchmark e para dentro do código de quem chama, que nenhuma das três páginas entrega.

O Que a Página do Kev Mede e o Texto das Outras Não

O autor do Kev descreve o procedimento: “I chose a threshold for each model targeting 5% error on development data, then applied it unchanged to test.” Os resultados:

Kev-27B aceitou 54% das perguntas com 5,5% de erro observado.
Kev-9B aceitou 36% com 6,7% de erro.
Kev-4B aceitou 31% com 3,5% de erro.
Kev-0.8B aceitou 15% com 5,4% de erro.

Leia a tabela como uma troca. Escolha um erro-alvo, e o modelo mostra quanto trabalho ele vai aceitar. Por aritmética simples sobre essas linhas, três dos quatro modelos ficaram acima do alvo de 5% nos dados de teste. A própria página avisa: “A 90% confidence threshold doesn’t imply 90% accuracy. Measure both.” E também: “Those error rates won’t necessarily hold on your data.”

A mesma página relata calibração como erro agregado de 0,019 em 14 conjuntos de dados e 0,073 na média por conjunto para o modelo de 27B, e acrescenta “Calibration varies by workload.” O autor também declara que “the results come from my own harness, not an independent leaderboard” e que “earlier candidates’ test results were known before I selected the released 27B, so selection was not fully blind.” É uma tabela autodeclarada, com as fraquezas escritas ao lado. Continua sendo uma tabela.

A página do Clef descreve um treino “paired with a Brier loss to refine probability calibration”. No texto que lemos, ela não reporta nenhuma métrica de calibração: nem ECE, nem Brier, nem figura de confiabilidade. Ela diz que “a human does not necessarily need to be in the loop for agentic decisions anymore”. No texto que lemos, uma afirmação tão forte sobre revisão humana aparece sem nenhum número de calibração. A página da Strands posiciona o Decider 2B em “3rd of 33 in the 2B class” com link para um ranking de terceiros, e os números de acurácia e Brier dela aparecem só em imagens que os nossos leitores não conseguiram ler, então não os usamos.

Leia a Tabela Contra a Afirmação

Uma segunda checagem na página do Clef, sem relação com abstenção. Ela afirma que o Clef “beat the decision models on latency (except for Laya…)”. A tabela dela mostra mediana de 209,3 ms para o Clef, contra 84,4 ms para o DiffusionGemma Jev e 51,4 ms para o Kev-9B. Só o Clef-flash, com mediana de 38,8 ms, sustenta a frase. A Cloudflare também pontuou um concorrente que ela mesma escolheu (Kev-9B) e diz “We shortlisted some evaluations below.” Não compare números entre as três páginas. Cada página relata números próprios, do seu próprio ambiente de teste, e nenhuma relata execução independente.

As afirmações de compatibilidade merecem a mesma leitura. O Clef chama os seus modelos de “fully Jev-API compatible” e mostra uma requisição que vai ao endpoint da própria Cloudflare. O Kev diz que aplicações feitas com o SDK da TypeSafe “can switch by changing the endpoint and model name”. No texto das páginas, nenhuma das duas mostra um teste de conformidade, e a Strands não faz essa afirmação. Pela nossa leitura das três páginas, elas não estabelecem um padrão compartilhado. Duas declarações de compatibilidade sem teste entre elas não formam um.

A Tabela Que Propomos

O que segue é uma proposta nossa, e nenhuma fonte a afirma.

Quando um modelo de decisão fica como portão, reporte-o como uma tabela de fração aceita contra erro observado, com limiar fixado antes do teste. A página do Kev é o exemplo mais próximo que encontramos: quatro linhas, uma regra de limiar, um erro-alvo definido em dados de desenvolvimento e aplicado sem alteração. Quem lê vê quanto o modelo custa em adiamentos para um dado risco.

O formato que sugerimos tem cinco campos por linha:

O modelo e o tamanho.
O erro-alvo e o conjunto de dados em que ele foi fixado.
A fração aceita em dados reservados.
O erro observado nesse conjunto aceito.
Quem rodou o harness e se a seleção foi cega.

Um modelo publicado sem essa tabela deve ser tratado como não medido para uso como portão. Ele pode ser um excelente classificador. O ponto é mais estreito: a página não permite saber com que frequência ele passaria um caso a uma pessoa, nem com que frequência os casos que ele aceita estão errados.

Leitura relacionada nossa: um modelo de decisão no caminho de controle, o gatilho de escalonamento e pontuação de autonomia e revogação.

Faça Isto Agora

Antes de ligar qualquer um desses três modelos a um portão, monte a tabela você mesmo, com o seu tráfego.

Fixe um erro-alvo numa fatia de desenvolvimento. Escolha o limiar ali e congele. Passe os dados reservados pelo modelo uma única vez. Registre a fração aceita e o erro observado, para cada tamanho de modelo que você considera. Depois escreva o que o seu código faz com a parcela rejeitada, porque as páginas deixam isso com você. Se um fornecedor não entregar uma tabela como a do Kev para o próprio modelo, peça uma antes de rotear qualquer coisa importante por ele.

Fontes

Cloudflare Blog. “Introducing Clef: our open-source decision models, and new RL fine-tuning platform.” Outubro de 2026.
Jared Palmer. “Introducing Kev.” Outubro de 2026.
Strands Agents. “Introducing Strands Decider 2B: a small, open source, decision model.” Outubro de 2026.

A Victorino ajuda times de engenharia a medir os modelos de decisão que ficam no caminho de controle dos seus agentes antes de irem para produção: contato@victorino.com.br | www.victorino.com.br