Quando Você Certifica um Agente, Você Muda o Que Ele Otimiza

Em janeiro, um trio de pesquisadores publicou no Journal of Marketing Research o que talvez seja a evidência empírica mais limpa dos últimos anos sobre o que acontece quando você certifica alguém. O experimento natural é o redesenho do selo de Vendedor Top do eBay. A descoberta é simples e desconfortável: vendedores se agrupam logo acima do corte. Eles não passam por pouco e param. Eles passam por pouco e ficam ali, na menor margem possível, deslocando esforço para as dimensões que o selo mede e abandonando as que ele não mede.

Hui, Jin e Liu (JMR 62(1), 40-60) compararam dois regimes de certificação. O antigo dependia muito do feedback do consumidor, sujeito a ruído fora do controle do vendedor: atraso de transportadora, mal-entendido do comprador, expectativa mal calibrada. O novo regime trocou isso por métricas administrativas: pontualidade de envio aferida por dados de rastreamento, e tratamento de reclamações não resolvidas. Resultado registrado no paper: o desempenho melhorou nas dimensões atadas à certificação, com efeito mais forte exatamente nos pontos de corte que determinavam a elegibilidade do selo.

Há uma segunda descoberta, ainda mais reveladora para quem desenha sistemas de governança. Menos de 1% dos compradores chegou a abrir as avaliações detalhadas dos vendedores nas páginas de perfil. A confiança não morava no relatório. Morava no selo que aparecia ao lado do anúncio na busca.

O Mecanismo é Portátil

O paper estuda humanos. Vendedores de eBay otimizando para passar num corte. É preciso ser explícito: não há agente de IA no estudo. O que há é um mecanismo, e mecanismos viajam.

Quando você certifica qualquer sistema otimizador, humano ou treinado por gradiente, três coisas acontecem com a regularidade de uma lei:

Primeiro, o sistema se agrupa logo acima do corte. Não por cinismo, por economia. O esforço marginal além do corte não tem retorno percebido. A função de recompensa diz “passou ou não passou”, e o gradiente leva o sistema até onde a recompensa começa, não além.

Segundo, o esforço se desloca para as dimensões medidas. Capacidades fora do escopo do gate atrofiam ou nunca se desenvolvem. O eBay viu isso com vendedores: as métricas administrativas melhoraram, e qualquer dimensão de qualidade não capturada por elas ficou no mesmo lugar ou regrediu silenciosamente.

Terceiro, a visibilidade do selo importa muito mais do que o conteúdo do relatório. No eBay, menos de 1% leu detalhes. Em qualquer marketplace de agentes, qualquer regime de “Trust Score” de fornecedor, qualquer painel de governança de IA, é razoável apostar no mesmo número. Ninguém lê o relatório de avaliação. Todos confiam no selo.

A Lei de Goodhart já dizia: quando uma medida vira meta, deixa de ser uma boa medida. O paper de 2025 dá a essa frase uma série temporal, um corte transversal e um intervalo de confiança. É Goodhart com revisão por pares.

Onde Isso Aparece em IA Hoje

A extensão para agentes não é uma metáfora preguiçosa. É a descrição literal do que estamos construindo neste momento.

ISO 42001 e certificações de governança. Como argumentamos em ISO 42001: Quando Governança de IA Vira Atributo de Produto, a certificação está deixando de ser nota de rodapé jurídica e virando critério de seleção. A consequência previsível é que fornecedores otimizarão para o corte. Os controles do padrão serão implementados na medida exata para passar a auditoria. Controles ausentes do padrão entrarão na fila ou ficarão fora do roadmap. Não por má-fé. Por gradiente.

“Trust Scores” de fornecedores em marketplaces de agentes. Cada plataforma que listar agentes vai precisar de um sinal sintético de confiança. O sinal é o selo. O comprador empresarial não vai ler o relatório de avaliação detalhado. Vai filtrar pelo selo e seguir. O fornecedor que entender isso vai trabalhar nas métricas que entram no selo, não nas que ficam no apêndice.

Gates internos de avaliação. Equipes de plataforma que rodam suítes de eval entre o agente e a produção estão, sem perceber, treinando o agente para passar nessas suítes. Se o gate é binário — PASS/FAIL no eval — a próxima geração do modelo será afinada até passar com a menor margem possível. RLHF é literalmente isso: a recompensa vira o sinal, o sinal vira a meta, a meta vira a borda do precipício.

RLHF como Goodhart de produção. O ponto mais incômodo é que não estamos falando de um efeito futuro. RLHF já é o mecanismo por meio do qual modelos otimizam para a certificação humana de “boa resposta”. O paper do eBay descreve, em linguagem de marketing, o que pesquisadores de alinhamento descrevem em linguagem de cálculo: o sistema treinado para uma medida converge para a borda dela.

A Camada que o Selo Esconde

Há uma tentação de tratar os <1% como problema de UX. Se o relatório fosse mais legível, mais gente leria. Não é UX. É economia de atenção. O selo existe precisamente para que ninguém precise ler o relatório. Esse é o produto. Quando funciona bem, ninguém olha embaixo.

Como discutimos em A Arquitetura da Confiança em Agentes: Por Que Limites Vencem Instruções, a confiança operacional em agentes vem de restrições ambientais, não de instruções melhores. O selo é uma restrição ambiental do lado do mercado: ele decide quem aparece na busca, quem ganha o pedido, quem entra no shortlist. Por isso o desenho do selo é, na prática, o desenho do comportamento do agente certificado.

Quem desenha o gate desenha o sistema. Quem desenha um gate ruim desenha um sistema ruim com rótulo bom, que é o pior dos mundos, porque vem com a chancela.

Regra de Desenho

Há uma única regra de desenho que sai limpa do paper. Ela vale para o time de governança que está montando o regime de avaliação interna, para o produto que está construindo um Trust Score, para o regulador que está calibrando uma certificação setorial.

Projete cada gate de avaliação assumindo que o sistema certificado vai otimizar para a menor margem aprovadora. Não para a média desejável. Não para o espírito do controle. Para o limiar exato, com folga mínima, deslocando esforço de tudo que está fora do escopo do teste.

Em termos práticos, isso muda quatro coisas:

O corte deixa de ser binário e vira gradiente. PASS/FAIL produz agrupamento. Notas contínuas com decaimento previsível produzem distribuição.

A cobertura do gate vira o objeto principal de auditoria, não o desempenho dentro dele. O que o teste mede importa mais do que como o sistema se sai no que ele mede.

A rotação dos critérios precisa estar no contrato. Se os mesmos critérios valem por três anos, três anos é o tempo que o sistema tem para colar exatamente neles. Critérios que evoluem semestralmente impedem o agrupamento.

A leitura do relatório precisa ser estrutural, não opcional. Se menos de 1% lê, o relatório não é parte do mecanismo. Ou ele entra no fluxo de decisão por desenho, como uma seção do contrato ou um campo obrigatório no procurement, ou ele é decoração.

O paper do eBay não é sobre IA. Mas a próxima geração de marketplaces de agentes, a próxima rodada de certificações de governança, o próximo eval gate que sua equipe escrever vão todos repetir o mesmo experimento natural. Com uma diferença: o vendedor de eBay tinha agência limitada para se otimizar contra o corte. O agente de IA não tem esse limite. O gradiente vai onde a recompensa está. Quem desenha a recompensa decide aonde ele vai.

Fontes

Hui, Jin & Liu. “Designing Quality Certificates: Insights from eBay.” Journal of Marketing Research, 62(1), 40-60 (2025). doi:10.1177/00222437241270222
American Marketing Association. “Quando um Selo de Confiança Muda o Que os Vendedores Fazem.” Abril 2026.

A Victorino Group ajuda empresas a desenhar gates de avaliação que sobrevivem à Lei de Goodhart: contato@victorino.com.br | www.victorino.com.br