OpenAI Lançou Procedência em Camadas. O Precedente PhotoDNA Diz: Verifique Antes.

TV
Thiago Victorino
8 min de leitura
OpenAI Lançou Procedência em Camadas. O Precedente PhotoDNA Diz: Verifique Antes.

Nesta semana a OpenAI anunciou que saídas de imagem do ChatGPT, do Codex e da API vão carregar uma pilha de procedência em camadas: metadados criptográficos C2PA, marcas d’água invisíveis SynthID da Google DeepMind e um verificador público em openai.com/verify. Sora e Voice Engine já tinham marca d’água. A OpenAI entrou no Comitê Diretor do C2PA em 2024, e o DALL-E 3 foi o primeiro produto a embarcar Content Credentials. O que é novo é a combinação dos sinais, somada a um verificador que qualquer pessoa abre no navegador.

A arquitetura está certa. Camadas porque nenhum sinal isolado sobrevive a todos os fluxos de trabalho. Metadado C2PA é rico, mas fácil de remover em captura de tela ou recodificação. SynthID é mais difícil de remover, mas tem baixa largura de banda e é probabilístico na fronteira. Juntos, oferecem modos de falha complementares em vez de um único ponto de confiança.

O instinto de publicar um verificador também está certo. Procedência que só o emissor consegue checar não é procedência; é nota à imprensa. Colocar o openai.com/verify como preview público é o movimento que transforma isso de feature em primitiva de auditoria.

O que merece mais atenção é o passo seguinte: o trabalho de verificação que começa no instante em que um sistema de procedência é lançado. Existe um precedente para o que acontece quando uma indústria trata um sistema de impressão digital de conteúdo como se suas afirmações fossem auto-evidentes. O precedente se chama PhotoDNA.

O Precedente PhotoDNA

PhotoDNA, construído pela Microsoft com Hany Farid em 2009, é o sistema baseado em hash que Google, Facebook, Twitter e outros usam para detectar material conhecido de abuso sexual infantil em escala. Por mais de uma década, a página pública da Microsoft afirmava que “um hash PhotoDNA não é reversível”. Essa frase permitiu que times jurídicos de plataforma dissessem que o banco de hashes era um artefato unidirecional, seguro para compartilhar, seguro para consultar, seguro para centralizar.

Em dezembro de 2021, Anish Athalye publicou Inverting PhotoDNA. A ferramenta dele, Ribosome, reconstrói imagens em qualidade de miniatura a partir de hashes PhotoDNA. A saída é granulada e pequena, mas é reconhecível. O hash carrega estrutura suficiente para que uma rede neural modesta, treinada em algumas centenas de milhares de pares hash-imagem, aprenda a desfazer o mapeamento.

O resultado de Athalye não colapsou o PhotoDNA como sistema. Forçou uma reformulação. “Não reversível” virou “não trivialmente reversível”, depois “reversível para qualidade de miniatura com a computação disponível”, depois “isso agora é uma consideração de confidencialidade que jurídico e operações precisam desenhar em torno”. O banco de hashes passou a ser algo que se protege, não algo que se publica. A postura de auditoria mudou porque alguém tratou a afirmação de irreversibilidade como hipótese, não como veredito.

É esse o precedente. O custo do trabalho de verificação foi de um pesquisador, um artigo, um ano de acesso à computação. O custo de não fazer esse trabalho teria se acumulado por mais uma década.

Procedência É Primitiva do Lado da Saída, Não Narrativa de Entrada

A produção da Victorino sobre governança de IA viveu até agora majoritariamente no lado da entrada. Já escrevemos sobre por que a floresta escura cognitiva redefine governança de conhecimento quando LLMs treinam em texto público. Já escrevemos sobre dados de treinamento como a alavanca que a Anthropic está usando para se posicionar no mercado de confiança. Já escrevemos sobre a dívida de verificação que todo programa de IA carrega quando entrega saídas que nenhum humano revisou.

Procedência fica em uma camada diferente. Não governa o que entrou no modelo. Governa o que sai e o que um auditor consegue provar sobre essa saída seis meses depois. Três propriedades importam para o desenho corporativo:

Procedência é uma afirmação, não um fato. Um manifesto C2PA diz “este artefato foi produzido por este emissor neste momento sob estes parâmetros”. É assinado. Assinaturas verificam que o manifesto veio do emissor; não verificam que as afirmações do manifesto sobre o artefato estão completas. Uma marca d’água SynthID é um sinal probabilístico de que o artefato carrega um padrão embutido; a força desse sinal é uma propriedade do codificador, do decodificador e de cada transformação entre os dois.

Procedência sobrevive apenas às transformações que os projetistas modelaram. C2PA foi desenhado para sobreviver à compressão com perdas e a recortes limitados. SynthID foi desenhado para sobreviver a capturas de tela e redimensionamento. Transformações adversariais (inpainting generativo, transferência de estilo, ruído adversarial deliberado) são categorias diferentes. A leitura honesta dentro de uma empresa é: o sinal de procedência é uma atualização bayesiana sobre origem, não um veredito binário.

O verificador faz parte da superfície de confiança. O openai.com/verify é a ferramenta de terceiro que fecha o ciclo. Se o verificador estiver indisponível, mal configurado, ou tiver seus próprios limiares de confiança ajustados sem divulgação, a empresa que depende dele herda esse risco operacional. Verificação de procedência agora é serviço gerenciado por fornecedor do qual o seu programa de compliance silenciosamente depende.

O Que as Empresas Deveriam Fazer de Fato Nesta Semana

Bloqueie trinta minutos com quem é dono da governança de saída de IA. Faça quatro perguntas.

Quais saídas de IA carregam procedência hoje e quais não carregam? Conteúdos do Sora, saídas de imagem da OpenAI e geração de imagens do ChatGPT agora carregam, do lado do emissor. Saídas de outros fornecedores, de modelos internos, de variantes fine-tuned e de qualquer pipeline de pós-processamento que você rode em cima de artefatos da OpenAI podem não carregar. Construa o inventário antes da política.

O que a cadeia de procedência efetivamente preserva ao longo do nosso próprio pipeline? Pegue uma saída de produção. Trace o caminho dela pelo seu armazenamento, seu CMS, seu CDN, sua automação de marketing, sua tagueação de analytics. Em qual ponto o metadado C2PA é removido? Em qual ponto o SynthID é recodificado até desaparecer? Cada transformação é uma fronteira potencial de perda de sinal. A maioria das empresas vai descobrir que a própria infraestrutura interna remove a procedência antes da saída chegar a um consumidor downstream.

Quem já tentou quebrar? Trate o anúncio da OpenAI como a indústria de segurança tratou a afirmação de “não reversível” do PhotoDNA. A pergunta interessante não é se o sistema funciona como anunciado na demo. A pergunta interessante é o que um pesquisador adversarial, com seis meses e computação modesta, consegue demonstrar sobre seus limites. Leia o modelo de ameaças do C2PA. Leia o que foi publicado sobre a robustez do SynthID contra ataques deliberados. Se ainda não encontra trabalho independente de red team, planeje para que ele apareça. Planeje qual será a sua postura quando aparecer.

Qual é o SLA de verificação do qual dependemos? Se a sua cadeia de confiança assume que o openai.com/verify está acessível e correto, isso agora é uma dependência na sua história de auditoria. Documente. Negocie. Considere se verificação paralela (rodar um verificador aberto onde existir, reter ativos brutos, registrar cadeias de hash de forma independente) entra na sua arquitetura.

A Disciplina Que Compõe

Procedência de saída é uma primitiva real. Camadas é a escolha de desenho correta. Verificação pública é a escolha operacional correta. O erro não é implantar procedência; o erro é tratar a chegada dela como o fim do trabalho de verificação.

Os times que lidaram bem com o PhotoDNA entre 2009 e 2021 foram os que continuaram perguntando o que o sistema não conseguia fazer, não os que assumiram que o texto de marketing era o modelo de ameaças. Os times que vão lidar bem com a pilha de procedência da OpenAI entre 2026 e 2034 serão os que farão a mesma pergunta agora, antes do artigo de inversão existir, antes dos modos de falha estarem documentados, antes do jurídico precisar de uma resposta.

A arquitetura foi lançada. A auditoria não.


Fontes

A Victorino ajuda empresas a projetar arquiteturas de procedência e verificação de saída que sobrevivem a auditorias: contato@victorino.com.br | www.victorino.com.br

Todos os artigos do The Thinking Wire são escritos com o auxílio do modelo LLM Opus da Anthropic. Cada publicação passa por pesquisa multi-agente para verificar fatos e identificar contradições, seguida de revisão e aprovação humana antes da publicação. Se você encontrar alguma informação imprecisa ou deseja entrar em contato com o editorial, escreva para editorial@victorino.com.br . Sobre o The Thinking Wire →

Se isso faz sentido, vamos conversar

Ajudamos empresas a implementar IA sem perder o controle.

Agendar uma Conversa