Seu Agente Negocia Bem. Ele Não Sabe o Que Você Quer.

A Anthropic deixou agentes Claude trocarem livros em nome de 201 funcionários, distribuídos em seis grupos locais, e mediu o resultado contra o ranking que cada pessoa fez dos livros. A melhor alocação possível chegaria a 0,89. As pessoas terminaram em 0,55.

A distância entre esses dois números é a parte interessante do Project Swap, porque a Anthropic a dividiu em duas. Nas palavras do estudo, trabalhar a partir dos rankings imprecisos do Claude responde pela maior parte (85%) da perda, e mandar os agentes para um pregão livre (“free-for-all”) responde pelos 15% restantes.

A maior parte do valor perdido vem do que os agentes acreditavam antes de negociar. Os agentes negociaram com uma imagem da pessoa que era só um pouco melhor que um chute.

A imagem mal superava o acaso

A Anthropic comparou a ordem que o Claude deu aos livros com a da própria pessoa. A ordem do Claude coincidiu com a da pessoa em 61% das vezes, contra 50% de um palpite aleatório. Uma referência que apenas ordenava os livros por popularidade ficou em cerca de 53%.

Isso coloca o agente cerca de oito pontos acima da popularidade e cerca de onze acima de uma moeda. Para um sistema que vai fechar trocas em nome de alguém, a margem é estreita. Cada decisão posterior herda essa margem.

O pregão foi a parte fácil

Medida contra a própria imagem que os agentes tinham das preferências, a negociação ficou perto do ótimo. Os pregões com Haiku tiveram média de 0,75, e os pregões com Opus, 0,88, sendo 0,95 o ótimo utilitário nos rankings do Claude.

Junto da divisão 85/15, o formato do problema fica claro. Dado o que os agentes acreditavam, o modelo maior negociou perto do teto. A perda estava antes, no que eles acreditavam.

O título deste texto vem daqui, e merece uma ressalva. “Negocia bem” se apoia em apenas dois números: os pregões com Opus chegando a 0,88 contra um ótimo de 0,95 nos rankings do Claude, e o pregão respondendo por 15% da perda. Os dois são medidos na visão que os agentes tinham das pessoas, num mercado de livros.

Modelo e tom, medidos na própria imagem do agente

A Anthropic rodou o mercado de novo com variações. Dois resultados são fáceis de superestimar.

Trocar o agente de Haiku para Opus subiu as pessoas 0,12 nas suas listas. Um agente instruído a ser implacável marcou cerca de 0,02 a mais que um instruído a ser pró-social. Os dois números vêm de reexecuções pontuadas nos rankings do Claude, e não do evento ao vivo.

A nota de rodapé 15 acrescenta um limite geral: mesmo uma diferença grande de desenho na lista do Claude encolhe para quase nada nas listas das próprias pessoas. Uma escolha de desenho que parece relevante dentro do modelo que o agente faz da pessoa quase some quando a pontuação usa o que a pessoa de fato queria.

O resultado implacável contra pró-social tem um limite próprio. As instruções eram dois textos fixos. A nota da Anthropic cita Imas et al., onde instruções personalizadas explicaram boa parte da diferença de resultado. O que o estudo mostra é mais estreito: essas duas instruções, medidas desse jeito, quase não mexeram no resultado.

Para um time que escolhe onde gastar esforço, a leitura prática incomoda. Neste estudo, a alavanca que mais pesou foi a precisão com que o agente conhecia quem ele representava.

Agentes honestos também erram o alvo

Mentir foi raro. Só cerca de 1 em cada 100 agentes que mencionaram a sua primeira escolha mentiu sobre ela, e as instruções não fizeram diferença nisso. Quando declaravam a primeira escolha, quase sempre declaravam com honestidade. O ponto fraco era a crença, não o relato.

Sobre confiança, a resposta média ficou em cerca de 30%, contra cerca de 40% para um amigo que lê muito.

Tratamos de uma questão vizinha em agentes escolhendo seus fornecedores, e de um controle sobre a autoridade de desconto de um agente de vendas em o guardrail de desconto. O Project Swap acrescenta a etapa anterior às duas: o agente sabe o que o seu representado quer?

Quem age por outros passa por uma prova antes

A própria Anthropic faz a comparação: agentes humanos precisam passar em provas antes de poder agir por outras pessoas. O estudo cita os exames Series 65 e Series 7 e a regra de know-your-customer da FINRA. A minha leitura das duas: uma verifica o que o cliente precisa, a outra verifica competência antes de o assessor poder agir.

Uma implantação de agente pode ter o equivalente das duas coisas: uma checagem da imagem que o agente tem do seu representado, feita antes de ele poder agir.

O que o estudo sustenta e o que não sustenta

As ressalvas são reais e limitam tudo o que veio acima.

A Anthropic rodou o estudo com os próprios modelos e os próprios funcionários, que ela descreve como não representativos da população em geral. O que estava em jogo era pouco: livros. Só agentes bem-comportados foram testados. A taxa de resposta da pesquisa final ficou em cerca de 60%. Os números 0,12 e 0,02 são resultados de reexecuções nos rankings do Claude, e as instruções eram dois textos fixos.

Nada disso desfaz a divisão central. Significa, sim, tratar o 85/15 como um dado bem documentado sobre um mercado específico, e testar o seu caso antes de adotar a proporção.

A minha leitura, que é uma inferência a partir deste único estudo: para qualquer agente que compra, vende ou negocia em nome de alguém, a etapa que os dados mais sustentam é a entrevista de entrada antes da delegação. Verifique o que o agente acredita que o representado quer, e só então deixe-o agir.

Faça isto agora

Coloque um teste de entrada em todo agente que transaciona em nome de uma pessoa ou de uma área de negócio.

Antes de delegar, peça ao representado que ordene uma amostra pequena de opções que o agente vai enfrentar. Curta o bastante para que as pessoas terminem.
Peça ao agente que produza o próprio ranking da mesma amostra, com o contexto que ele tiver.
Compare os dois com uma taxa de concordância por pares. O Project Swap dá referências: 50% é acaso, cerca de 53% é o que a popularidade sozinha produziu, 61% é o que o Claude alcançou.
Se a concordância ficar perto da linha da popularidade, o agente aprendeu o que é popular e pouco sobre a pessoa. Colete mais dados de preferência antes de ele agir, ou mantenha uma pessoa nas decisões.
Refaça o teste quando a situação do representado mudar, e registre a pontuação junto de cada delegação, para que uma auditoria veja o que o agente sabia quando negociou.

Gaste o orçamento de avaliação aqui antes de gastá-lo em troca de modelo ou em prompt de tom. No Project Swap, foi aqui que ficou a maior parte do valor perdido.

Fontes

Anthropic. “Project Swap: What happens when agents trade for us?.” Setembro de 2026.

A Victorino ajuda times a desenhar controles de entrada e de delegação para agentes que agem em nome de alguém: contato@victorino.com.br | www.victorino.com.br