Os Valores do Seu Modelo Mudam por Idioma, e Sua Avaliação Só Fala Inglês

309.815 conversas. Três modelos. Vinte idiomas. A Anthropic passou esse conjunto por um método que comprime centenas de milhares de trocas do Claude.ai em quatro eixos de valor, e o resultado é desconfortável para qualquer um que opere um único modelo através de fronteiras: o mesmo modelo expressa valores sistematicamente diferentes dependendo do idioma em que você fala com ele.

Os quatro eixos têm nomes diretos. Deferência versus Cautela. Acolhimento versus Rigor. Profundidade versus Brevidade. Franqueza versus Execução. Juntos, capturam cerca de 15% da variação total na forma como os valores do modelo aparecem nas conversas. É uma fatia pequena de um espaço grande e bagunçado, e essa é a parte honesta do achado. Também é suficiente para ver o padrão com clareza. Conversas em árabe puxam o modelo para deferência e acolhimento. Conversas em inglês puxam para rigor e cautela. Mesmos pesos, mesmo prompt de sistema, julgamento diferente.

O que os eixos realmente medem

A equipe de pesquisa da Anthropic, liderada por Matt Kearney, não perguntou ao modelo o que ele valoriza. Observou o que ele fez ao longo de 309.815 conversas reais e reduziu o comportamento a coordenadas. Uma resposta alta em Cautela hesita, sinaliza risco e devolve o julgamento final ao usuário. Uma resposta alta em Franqueza dá uma opinião direta mesmo quando a opinião é indesejada. Uma resposta alta em Acolhimento suaviza e encoraja. Uma resposta alta em Rigor confronta e corrige.

Nenhum desses comportamentos é errado. Uma resposta cautelosa e uma resposta franca podem estar ambas corretas e úteis. O problema é que os valores não são constantes, e quase ninguém que opera esses modelos está medindo qual perfil de valor entrega para qual usuário.

A frase da pesquisa que deveria parar uma equipe de produto é esta: “Duas pessoas pedindo feedback sobre o mesmo plano de negócios, uma em hindi e outra em russo, podem sair com impressões diferentes sobre a qualidade dele.” Mesmo plano. Mesmo modelo. Veredito diferente, porque o idioma mudou o perfil de valor que o modelo aplicou.

Duas fontes de variação, não uma

A variação corre em duas dimensões independentes, e vale mantê-las separadas.

A primeira é a versão do modelo. O Opus 4.7 tende à cautela em cerca de 0,24 desvios padrão e à profundidade em cerca de 0,23 desvios padrão em relação à linha de base. O Sonnet 4.6 tende ao acolhimento em cerca de 0,17 desvios padrão e à deferência em cerca de 0,14. Atualize o modelo e a personalidade que seus usuários experimentam muda, mesmo sem mexer no seu prompt. Os valores estão nos pesos, e o seu prompt ajusta apenas parte deles.

A segunda é o idioma. O inglês fica na ponta do rigor e da cautela. O árabe fica na ponta da deferência e do acolhimento. Todo idioma que você atende cai em algum ponto desses eixos, e você não escolheu onde. O processo de treinamento escolheu, por razões que nem as pessoas que o conduziram conseguem ler por completo.

Empilhe as duas dimensões e você tem a condição operacional real: uma empresa que migra do Sonnet para o Opus enquanto atende clientes em inglês, árabe, hindi e russo passa a entregar pelo menos oito perfis de valor distintos, e avalia talvez um deles.

O ponto cego é estrutural

Aqui está a parte que transforma uma curiosidade de pesquisa em problema de governança. Quase todo pipeline de avaliação que as equipes de fato rodam é construído em inglês. Os prompts de red-team são em inglês. Os conjuntos de avaliação são em inglês. A rubrica que os revisores usam para pontuar é escrita em inglês e aplicada a saídas em inglês. Quando uma empresa escreve uma política dizendo “o assistente deve confrontar planos financeiramente imprudentes”, ela verifica esse comportamento em inglês e assume que ele generaliza.

Ele não generaliza. Se o inglês é o idioma mais rigoroso e cauteloso para o modelo, então o inglês é exatamente o idioma onde a política de confronto parece mais saudável. A versão em árabe do mesmo assistente, mais deferente por construção, pode deixar o plano imprudente passar com uma nota calorosa de encorajamento. Sua avaliação passou. Seus usuários em árabe receberam um produto diferente. Você não tem nenhum instrumento apontado para a diferença.

Vale nomear o mecanismo com precisão. Avaliar só em inglês vai além de subcontabilizar problemas em outros idiomas. Inspeciona sistematicamente o idioma menos propenso a falhar e certifica o sistema inteiro com base nele. Os idiomas mais propensos à deferência são os idiomas que você está menos equipado para enxergar.

Por que “só traduzir as avaliações” não resolve

A resposta óbvia é traduzir o conjunto de avaliação em inglês para todos os idiomas atendidos e rodar de novo. Isso ajuda, e a maioria das equipes nem fez isso. Mas é insuficiente, por dois motivos.

A tradução preserva o prompt, não o perfil de valor. Uma avaliação traduzida ainda faz a mesma pergunta ao modelo. Ela não diz se seus revisores, pontuando dentro da própria moldura linguística, aplicam o mesmo limiar de “deferente demais” que um revisor em inglês aplicaria. Acolhimento é lido como competência em algumas culturas e como evasão em outras. A própria rubrica carrega um perfil de valor.

E os eixos explicam apenas 15% da variação. Os outros 85% não são capturados por quatro dimensões limpas. Qualquer instrumento de governança que você construir precisa assumir que a variação visível é apenas um piso da variação real. O mapa completo continua fora de alcance. Meça os quatro eixos porque dá, e trate tudo que você não consegue decompor como risco latente em cada idioma que você não observou diretamente.

Isso é o dado da Anthropic e a conclusão é nossa

Vale ser claro sobre a origem. Esta é pesquisa de primeira mão do laboratório que faz o modelo, apresentada como contribuição de segurança, com o interesse próprio que esse enquadramento implica. Tome o conjunto e o método como reportados: 309.815 conversas, três modelos, vinte idiomas, quatro eixos, os desvios acima. Essas são as medições da Anthropic.

A conclusão operacional é nossa. A Anthropic documentou que os valores variam por idioma e versão. Parou antes de dizer que você deve reconstruir sua avaliação em torno dos idiomas que de fato atende. Esse passo é o que importa para qualquer organização rodando um modelo em vários idiomas, e é o passo que quase ninguém deu. O laboratório mediu a variação como objeto científico. Você precisa medi-la como risco, nos idiomas específicos que seus clientes usam, contra as políticas específicas que você diz aplicar.

Faça isso agora

Puxe seu harness de avaliação e verifique em que idioma ele roda. Se a resposta for inglês, você mediu um perfil de valor e entregou vários.

Depois, em ordem de prioridade: liste os idiomas que você atende em produção, ordenados por volume de usuários. Para os três principais idiomas não ingleses, pegue suas cinco políticas mais consequentes (as de recusa, de cautela financeira ou médica, de confronto a planos ruins) e rode-as nativamente em cada idioma, pontuadas por um revisor fluente naquele idioma contra sua rubrica real. Não traduza e pontue em inglês. Você está testando se o perfil de deferência do modelo naquele idioma viola em silêncio uma política que parece adequada em inglês.

Compare as taxas de aprovação entre os idiomas. Se elas divergirem, e o dado da Anthropic diz que vão, você encontrou a superfície exata onde sua governança está cega. Essa divergência é o que monitorar daqui pra frente, a cada atualização de modelo, porque a variação de versão e a variação de idioma se acumulam. A empresa que mede o comportamento nos idiomas que atende está operando sua IA. A empresa que mede o inglês e torce está chutando em todos os outros idiomas, e agora sabe que o chute está errado.

Fontes

Anthropic. “How Claude’s values vary by model and language.” Julho de 2026.

A Victorino ajuda times a avaliar o comportamento da IA em todos os idiomas em que operam, não só em inglês: contato@victorino.com.br | www.victorino.com.br