Labs e Legisladores Apoiam Avaliadores Independentes de IA. Ninguém Definiu Quem Paga a Conta.

“There is also no settled system for funding independent evaluation.” A Anthropic fez essa admissão numa declaração citada pela CNBC, que também admitia: “there are, as yet, no standards for what information embedded evaluators should have access to, or how they should report what they find.” Em português: ainda não existe padrão para o que avaliadores embarcados podem acessar, nem para como devem relatar o que encontram, e também não há sistema definido de financiamento.

Coloque essa admissão ao lado do apoio político aos avaliadores e o formato do problema aparece. Segundo a reportagem de Ashley Capoot na CNBC, executivos de Anthropic, Google, Meta, OpenAI, SpaceX e Nvidia assinaram um acordo de uma página na Casa Branca, descrito como moralmente vinculante. A CNBC também relata que Dario Amodei se comprometeu a embarcar avaliadores independentes na Anthropic “as part of a voluntary accord he presented in late September”, ou seja, como parte de um acordo voluntário que ele apresentou no fim de setembro. O FRONTIER Act, apresentado em julho, inclui organizações independentes de verificação. A Califórnia sancionou duas leis relacionadas. Connecticut e Virgínia também deram passos.

O princípio tem patrocinadores em laboratórios, na Casa Branca, num projeto de lei no Congresso e em alguns estados. O encanamento continua indefinido. Nas palavras da Anthropic, ainda não há padrão para o que o avaliador embarcado pode ver ou como relata, nem sistema definido para pagar o trabalho.

Uma declaração antes de seguir: a Victorino vende auditorias independentes de sistemas de IA. Temos interesse comercial em que essa pergunta seja bem respondida, e o teste que propomos no fim vale para nós tanto quanto para qualquer outro.

O dinheiro chega antes das regras

O mercado de avaliadores cresce com capital que a matéria da CNBC descreve em detalhe.

O METR anunciou em agosto que levantou compromissos de cerca de US$ 71 milhões nos últimos seis meses. Sua declaração ao IRS registra contribuições totais de US$ 13,6 milhões em 2024. Os dois números medem coisas diferentes (compromissos numa janela de tempo contra contribuições recebidas num ano), então não devem ser lidos como multiplicador de crescimento. O METR tem menos de 50 funcionários em tempo integral.

A Vals AI diz que passou de oito funcionários para cerca de 30 neste ano, e anunciou uma rodada de US$ 40 milhões em agosto.

A Anthropic, por sua vez, vai financiar diretamente avaliadores embarcados da Faculty (Accenture). Sua visão declarada de longo prazo: “Long-term, we think funding should come from pooled or government sources.” Ou seja, o dinheiro deveria vir de fundos compartilhados ou de fontes públicas.

Os termos da própria Anthropic para esses avaliadores são específicos. A CNBC relata Dario Amodei descrevendo permissões “mostly comparable” às das equipes internas e “the right to publish key findings”, o direito de publicar os principais achados, com a Anthropic mantendo “the narrow ability” de ocultar trechos. Esses termos valem para um laboratório só.

A frase sobre o financiamento de longo prazo merece atenção. Na nossa leitura, o laboratório que paga seus próprios avaliadores afirma, publicamente, que esse arranjo não deveria ser permanente. É uma posição franca. Na nossa leitura, o arranjo atual carrega o conflito que a auditoria financeira foi construída para administrar.

A auditoria financeira já fez esse experimento

Um auditor pago pela empresa que audita tem um problema evidente de incentivo. A contabilidade não resolveu isso presumindo bom caráter. Ela criou estrutura em volta do honorário: regras de independência, divulgação de quanto o auditor recebeu e por quê, direito de acesso a livros e registros, e um parecer público assinado que o cliente não pode editar.

Nada disso garante honestidade. Torna a desonestidade mais cara e mais visível.

A avaliação de IA tem o honorário e quase nenhuma dessa estrutura. Suresh Venkatasubramanian resumiu a exigência na reportagem da CNBC: “If you want true third-party evaluation, you need true independence financially and otherwise.” Independência real, financeira e de outros tipos.

Na nossa leitura, os “outros tipos” cobrem acesso e forma de relatar. A declaração da Anthropic diz que ainda não há padrão do setor para nenhum dos dois. Um avaliador que só visse o que o laboratório decidisse mostrar, e só publicasse o que o laboratório aceitasse divulgar, entregaria algo mais próximo de uma resenha patrocinada do que de uma auditoria. O rótulo no relatório não altera isso.

Já escrevemos sobre notas autodeclaradas que divergem de rodadas independentes e sobre compradores que escrevem eles mesmos o padrão de certificação. Este texto acrescenta a pergunta do financiamento.

Quando as regras para falar com avaliadores não estão escritas

Uma carta intitulada “OpenAI cannot make AI safe on its own”, assinada por Tomek Korbak, Jasmine Wang e Mikita Balesni, acrescenta uma segunda dimensão. Os três foram demitidos pela OpenAI. Nossas fontes situam a carta em outubro de 2026, embora a página em si não traga data.

As circunstâncias são contestadas, e a carta representa um dos lados. A CNBC relata que dois dos três pesquisadores dizem acreditar que foram demitidos pela forma como se comunicaram com avaliadores. A OpenAI cita “violating our policies on accessing and handling sensitive company information”, isto é, violação de políticas de acesso e tratamento de informação sensível da empresa. Não temos como arbitrar entre as duas versões e não vamos tentar.

O que a carta recomenda tem utilidade independentemente de quem tem razão sobre as demissões. Os autores pedem que a OpenAI mantenha auditores externos embarcados e publique regras claras para o trabalho com organizações externas de segurança. A OpenAI, por sua vez, disse que está “actively finalizing contracts with third-party safety assessors and will announce details in the coming weeks”, ou seja, fechando contratos com avaliadores externos de segurança e prestes a anunciar os detalhes. O argumento dos autores: “If conduct that was considered normal last month now constitutes grounds for sudden dismissal, everyone at OpenAI is left guessing where the line is.” Se o que era normal no mês passado vira motivo de demissão súbita, todos na empresa ficam adivinhando onde está o limite.

Esse é um problema de acesso visto de dentro do laboratório. Se as regras para conversar com um avaliador não estão escritas, o acesso do avaliador depende do que os funcionários julgam seguro naquele dia. Na nossa visão, um avaliador não tem independência plena diante de uma organização cuja equipe nem sabe se pode falar com ele.

Até o CEO da Microsoft pede auditabilidade

Satya Nadella, num post no X noticiado por Greg Iacurci na CNBC, incluiu “independent controls and auditability” (controles independentes e auditabilidade) entre seis princípios para IA e disse que tratar modelos de fronteira como riscos internos, do tipo insider risk, “is a way to build such a system”, é um caminho para construir esse sistema.

Na nossa visão, tratar o modelo como risco interno é um enquadramento útil para quem contrata avaliação. Como entendemos a ideia, um programa de risco interno parte do pressuposto de que o sujeito tem acesso legítimo e pode abusar dele, e depende de controles fora do alcance do sujeito. Um regime de avaliação que a parte avaliada financia, delimita e aprova para divulgação falharia nesse teste em todos os quesitos.

As três perguntas para qualquer avaliador

Independência é uma propriedade verificável antes da assinatura do contrato. Antes de confiar numa avaliação externa de um modelo, de um agente ou do sistema de IA de um fornecedor, peça respostas por escrito a estas perguntas.

Quem paga, e como o honorário é definido? Se a empresa avaliada paga, pergunte se o valor depende do resultado, de contratos futuros ou de um escopo que a empresa controla. Financiamento compartilhado ou público, que a própria Anthropic aponta como meta de longo prazo, reduziria essa preocupação. Financiamento direto a mantém, e o comprador precisa saber qual arranjo vale.

O que o avaliador pode ver? Peça os termos de acesso por escrito. Pesos do modelo, resumos dos dados de treino, prompts de sistema, registros internos de incidentes, entrevistas com a equipe: o que estava disponível e o que foi recusado? Como ainda não há, nas palavras da Anthropic, padrão para o que avaliadores embarcados devem acessar, cada contrato define os próprios termos. Esses termos são o escopo da garantia que você está comprando.

O avaliador pode publicar sem aprovação? Um achado que depende do consentimento da parte avaliada para ser divulgado é um achado que a parte avaliada pode suprimir. Pergunte se o avaliador mantém o direito de publicar um resumo e se algum trabalho anterior terminou com relatório nunca divulgado.

Se o avaliador não consegue responder às três, o relatório mostra o que o laboratório permitiu que alguém checasse. Isso ainda tem valor. Só não deve ser precificado nem usado como garantia independente.

Para quem quer evidência que o laboratório não consegue moldar, o complemento é a avaliação conduzida pelo próprio comprador, com honeypots retidos agora, ou, quando a tecnologia amadurecer, configurações duplo-cego que o fornecedor nunca vê de antemão.

Faça isto agora

Pegue a última avaliação externa de IA em que sua organização se apoiou, seja para escolher um modelo, revisar um fornecedor ou informar o conselho. Anote quem pagou, que acesso o avaliador teve e se ele poderia ter publicado um achado negativo sem permissão. Se alguma resposta for “não sei”, peça a informação ao fornecedor antes da próxima renovação.

Depois aplique as mesmas três perguntas a todo fornecedor de garantia que você usa, inclusive nós.

---

Fontes

• CNBC. “AI’s quiet safety gatekeepers are stepping into the spotlight.” Outubro de 2026.
• Tomek Korbak, Jasmine Wang, Mikita Balesni. “OpenAI cannot make AI safe on its own.” Outubro de 2026.
• CNBC. “Microsoft’s Nadella says AI needs an ‘emergency brake’ that humans control.” Outubro de 2026.

A Victorino faz auditorias independentes de IA. Faça a nós as mesmas três perguntas: contato@victorino.com.br | www.victorino.com.br