A Counting House de Yegge: Autonomia Conquistada por Intenção, Registrada numa Tabela

“CH models initially have no autonomy. They earn higher levels through evals, with the results recorded in the policy table.” A frase, do ensaio The Counting House, de Steve Yegge, descreve um desenho para atendimento de alto volume construído sobre modelos baratos. Os modelos da Counting House começam sem autonomia e sobem de nível por evals, com os resultados registrados na tabela de política. Cada intenção começa do zero. Cada uma só avança quando prova seu valor contra casos que pessoas já pontuaram.

Um artefato segura o desenho, e ele é pequeno o bastante para copiar. Leia como uma tabela que registra, para cada intenção, quanto o modelo merece confiança naquela intenção hoje.

Nossa leitura é que essa tabela é o que um líder de atendimento ao cliente deveria levar para casa. Governança escrita desse jeito é o que pode tornar viável colocar um modelo mais barato diante de uma fila de clientes. A decisão sobre qual modelo rodar sai da conversa com o fornecedor e passa a morar num documento que o próprio time controla.

A tabela guarda a autonomia

Yegge define cinco níveis: off, shadow, assist, contain e transact. A promoção acontece por eval. O rebaixamento acontece quando a nota é ruim. A tabela de política registra onde cada intenção está.

A escolha de desenho que importa é a granularidade. A autonomia pertence à intenção, então um modelo pode ocupar um nível numa pergunta simples e um nível mais baixo num reembolso, ao mesmo tempo. O time nunca precisa responder, em abstrato, se confia no modelo. Responde uma pergunta mais estreita, linha por linha: este modelo conquistou este nível neste tipo de caso?

Já escrevemos sobre scores de autonomia conquistados devagar e revogados na hora. A Counting House dá a esse score um lugar concreto para morar. Numa tabela, um nível poderia ser lido por um auditor, comparado entre versões e revertido por alguém que nunca abriu o código do modelo.

O gold set e o teto embaixo dele

Promover exige uma referência. A resposta de Yegge é um gold set de “between 200 and 1000 real cases” por intenção, ou seja, entre 200 e 1.000 casos reais. O tamanho acompanha o risco: 1.000 para intenções que mexem com dinheiro, de 200 a 300 para perguntas frequentes.

Dois detalhes dessa frase pesam. Os casos são reais, tirados do trabalho que o modelo vai fazer. E o tamanho cresce com o custo de uma resposta errada, o que concentra o esforço humano de pontuação onde o erro sai mais caro.

Depois Yegge coloca um limite. “Two human scorers usually top out at agreeing around 90% of the time”, escreve ele: dois avaliadores humanos costumam concordar em cerca de 90% das vezes, e esse teto é também o teto do que as evals conseguem mostrar.

A consequência é prática. Se dois avaliadores humanos concordam em mais ou menos nove de cada dez casos, a própria referência é incerta em cerca de um caso em dez. Uma nota de modelo acima dessa linha mede concordância com os hábitos de um avaliador mais do que mede acerto. Qualquer regra de promoção que exija notas quase perfeitas pede ao gold set uma precisão que ele não tem.

Para um time montando o primeiro gold set, isso muda a primeira tarefa. Meça com que frequência seus avaliadores concordam antes de definir qualquer limiar de promoção. A taxa de concordância diz até onde um limiar pode subir com sentido.

Um mapeamento que o time de risco já conhece

O próprio Yegge traça a ligação com uma disciplina existente: “The policy table is the model inventory. The gold-set eval is the validation. The promotion sign-offs are the approvals”. A tabela de política é o inventário de modelos, a eval contra o gold set é a validação e as assinaturas de promoção são as aprovações.

Yegge mapeia esses artefatos para a gestão de risco de modelos. O mapeamento pesa na adoção. Na nossa leitura, uma empresa regulada com uma função de risco de modelos não precisaria de uma categoria nova de governança para aceitar um agente na mesa de atendimento. Poderia colocar o agente dentro de um processo de revisão que essa função já conhece, com um dono nomeado para cada artefato.

A tabela também ganha um segundo público. O time de atendimento lê para saber o que o modelo pode fazer. O time de risco lê as mesmas linhas como um inventário com evidência de validação e aprovações assinadas. Um documento pode atender os dois, o que tende a impedir que as duas visões se afastem.

As escritas ficam com o orquestrador

A segunda restrição do desenho trata de acesso. “The clerk will never see a credential, and it can never write directly to a system of record”, escreve Yegge. O atendente automatizado nunca vê uma credencial e nunca escreve direto num sistema de registro. No desenho descrito, um orquestrador mecânico executa toda escrita.

Essa separação é o que torna um nível aplicável. Um nível numa tabela é só uma promessa até que algo fora do modelo o verifique antes de agir. Na nossa leitura do desenho, o orquestrador é o lugar natural dessa verificação: se ele consulta a tabela de política antes de cada escrita, pode recusar uma ação que a intenção ainda não conquistou. O modelo não guarda nenhuma credencial que permita contornar esse passo.

Para o lado das permissões em agentes de suporte, veja nosso texto sobre autorização em agentes de suporte. A Counting House tira do modelo, por inteiro, o caminho direto de escrita.

Por que isso importa para modelos mais baratos

Junte as peças e aparece um padrão. O modelo começa sem nada. Conquista cada nível por intenção, contra uma referência pontuada por pessoas. Um orquestrador separado verifica de novo a elegibilidade no sistema de registro ao vivo antes de executar uma escrita. Nessas condições, a pergunta sobre qual modelo rodar vira uma questão empírica, resolvida linha por linha na tabela.

Essa é a alavanca. Um modelo mais barato que passa no gold set de uma intenção de perguntas frequentes pode ficar com aquele nível, enquanto um modelo mais capaz, ou uma pessoa, segura a fila de reembolsos. Custo e risco passam a ser decididos por intenção, com evidência anexada, em vez de uma vez só para toda a implantação.

Yegge faz um alerta sobre quem controla a evidência: “If you leave evals to a vendor then you’re locked in.” Quem deixa as evals com o fornecedor fica preso a ele. O gold set é o ativo que permite trocar de modelo e testar de novo. Na nossa leitura, quando o fornecedor o detém, cada promoção e cada troca de modelo dependem da pontuação dele. Ser dono do gold set mantém a escolha de modelo aberta.

Para o argumento anterior de Yegge sobre engenharia, veja Steve Yegge, Agentes de IA e o Futuro da Engenharia de Software. A Counting House leva a atenção dele para o atendimento de casos, onde a unidade de confiança é a intenção.

O que a evidência sustenta

O desenho é bem argumentado. A evidência de campo é fina, e Yegge admite: “The one shop I’ve talked to about this is having early success with relatively inexpensive models.” É uma única operação, relatada pelo autor, e a frase não traz nenhum número.

O ensaio também traz números de matriz de confusão. São exemplos ilustrativos de como a pontuação funciona e devem ser lidos assim. Não são resultados de uma implantação.

Yegge vende workshops sobre esse desenho, e a página informa isso. A lógica da tabela de política se sustenta sozinha. Ainda assim, o argumento para adotar hoje se apoia mais no raciocínio do que em resultados medidos.

Faça isto agora

Escolha as três intenções de maior volume na sua fila de suporte. Para cada uma, escreva uma linha: a intenção, o nível de autonomia atual (toda linha começa sem autonomia), o gold set por trás dela e a pessoa que assina uma promoção.

Depois monte um gold set antes de qualquer outra coisa. Separe 200 casos reais da sua intenção de pergunta frequente mais comum, peça a dois avaliadores humanos que pontuem de forma independente e registre com que frequência eles concordam. Esse número é o seu teto. Coloque o limiar de promoção abaixo dele e guarde o gold set no seu próprio repositório, para que o próximo modelo testado enfrente os mesmos casos.

Se o seu agente atual escreve direto num sistema de registro, coloque essa escrita atrás de um componente que leia a tabela primeiro. Enquanto isso não acontece, os níveis da sua tabela descrevem intenções, e só o orquestrador consegue transformá-los em controles.

Fontes

Steve Yegge. “The Counting House.” Outubro de 2026.

A Victorino ajuda times de atendimento e operações a construir tabelas de política, gold sets e portões de eval que tornam agentes de IA auditáveis: contato@victorino.com.br | www.victorino.com.br