Confiança É o Que o Usuário Para de Conferir. Escreva OKRs Para Isso.

A maioria dos OKRs de produto de IA mede o sujeito errado. Acompanham acurácia do output, qualidade do modelo e adoção de funcionalidade. Jeff Gothelf, coautor de Lean UX, é direto: “Um key result tem que ser uma medida de comportamento humano.” A IA gerou um resumo. Ótimo. O que a pessoa fez com ele?

A resposta de Gothelf transforma confiança em algo observável. “Confiança de verdade, no fim, é uma mudança no que alguém está disposto a delegar. Então observe o que ele delega.” Essa frase converte uma palavra vaga em métrica. Confiança aparece no momento em que o usuário para de reescrever o seu output, deixa de conferir cada afirmação e começa a enviar o resultado sem alterar nada. Uma nota de pesquisa nunca capturou isso.

Acurácia é proxy. Comportamento é o sinal.

Uma funcionalidade de IA pode atingir 94% de acurácia factual e ainda assim falhar. Se todo usuário reescreve o output antes de enviar, a ferramenta só adicionou uma etapa de revisão. Acurácia mede o modelo. Diz pouco sobre se o modelo conquistou algum trabalho real.

Key results comportamentais medem o que você de fato vendeu: menos esforço humano gasto na tarefa. Quando alguém aceita um rascunho da IA como está, isso é um dado. Quando roda três consultas de verificação antes de confiar numa afirmação, isso é outro dado. Ambos são observáveis. Ambos pertencem a um painel. Nenhum aparece num relatório de acurácia do modelo.

A mudança incomoda times acostumados a medir o próprio sistema. OKRs comportamentais medem os seus usuários. Eles revelam se o produto mudou o fluxo de trabalho de alguém, que é o único teste que importa depois do lançamento.

Quatro key results que codificam confiança

Gothelf oferece metas ilustrativas. Trate-as como um modelo para definir as suas próprias linhas de base, não como benchmarks de mercado. Ele descreve o formato da métrica e deixa os números concretos para você medir.

Compartilhar sem reescrever: 40% para 65%. Dos outputs de IA que um usuário encaminha, quantos vão sem edição? Um número em alta significa que o output é confiável o suficiente para agir. Um número parado significa que as pessoas ainda tratam cada rascunho como matéria-prima.

Sessões de verificação: 60% para 30%. Com que frequência o usuário abre uma segunda fonte para conferir uma afirmação da IA antes de usá-la? Verificação em queda é o sinal de confiança mais claro que existe. É o eco comportamental de “não preciso mais conferir isso.”

Taxa de override: abaixo de 8%. Com que frequência o usuário apaga, rejeita ou reescreve pesadamente uma decisão da IA? Uma taxa baixa de override diz que o julgamento da IA bate com o do usuário. Uma taxa alta diz que o humano ainda é o operador real e a IA é uma caixa de sugestões.

Adoção de compartilhamento automático: 15% para 40%. Quantos usuários ativam a opção que permite à IA agir sem uma etapa manual de revisão? Habilitar autonomia é a maior delegação de todas. Ninguém automatiza uma tarefa em que desconfia.

Leia esses quatro juntos e um padrão aparece. Cada um mede uma decisão que o humano tomou sobre o quanto confiar na máquina. Isso é um placar de confiança.

O problema de calibração que você não pode pular

Verificação em queda só é boa notícia se a IA estiver de fato correta. Uma taxa de verificação que cai enquanto a taxa de erro se mantém é confiança conquistada. Uma taxa de verificação que cai enquanto os erros sobem é confiança mal colocada, e isso é mais perigoso que o ceticismo.

Então um OKR comportamental precisa de uma métrica de guarda ao lado. Combine “sessões de verificação caindo 50%” com “taxa de erro estável ou em queda.” Combine “taxa de override abaixo de 8%” com uma auditoria amostral do que foi enviado sem conferência. Sem a métrica de guarda, você otimiza para um número que premia delegação cega. O objetivo é confiança calibrada, em que a verificação cai porque o output merece, não porque o usuário cansou de conferir.

É aqui que medir confiança vira governança. Verificação em queda mais delegação em alta é adoção quantificada. Os mesmos dois números, lidos contra uma linha de base de erro, dizem se essa adoção é segura. Um instrumento, duas perguntas: as pessoas estão confiando mais na IA, e deveriam?

Por que o PM deve se importar antes do conselho

O enquadramento comportamental responde a uma pergunta que todo orçamento de IA acaba enfrentando: isso funcionou? Painéis de acurácia de modelo não respondem. Um conselho nunca financia notas de BLEU maiores. Ele financia mudança de fluxo de trabalho. “60% dos usuários agora enviam rascunhos da IA sem editar, contra 40%” é uma frase que um CFO entende. “O modelo melhorou 3 pontos no conjunto de avaliação” não é.

Há também uma razão defensiva. Se os usuários do concorrente delegam mais trabalho a cada trimestre e os seus não, você está perdendo no único eixo que compõe ao longo do tempo. Adoção de confiança gruda. Um usuário que parou de conferir o seu output reconstruiu o fluxo de trabalho em torno de você. Isso é custo de troca que você não precisou comprar.

A linha de base que você ainda não tem

A parte incômoda: a maioria dos times não consegue definir esses OKRs hoje porque nunca instrumentou o comportamento. Registram chamadas de modelo e volume de output. Não registram se o output foi editado antes de sair, nem quantas consultas de verificação antecederam um envio. O sinal comportamental existe no produto. Normalmente só fica sem captura.

A rubrica de Gothelf vale apenas o que os eventos por baixo dela valem. Antes de definir uma meta de “compartilhar sem reescrever”, você precisa registrar as edições entre a geração e o envio. Antes de acompanhar a taxa de override, você precisa saber como um override aparece nos seus dados. A instrumentação é o projeto de verdade. O OKR é a parte fácil, uma vez que os eventos existem.

Isso se conecta a um argumento mais amplo que já fizemos sobre medir julgamento, não apenas output, e sobre tratar confiança como a própria experiência do usuário em vez de um recurso parafusado por cima. A contribuição de Gothelf é a camada operacional: os eventos comportamentais específicos que um gerente de produto pode adotar neste trimestre e entregar a um engenheiro como especificação de rastreamento.

Faça isto agora

Escolha uma funcionalidade de IA. Defina o único comportamento que provaria que um usuário confia nela, expresso como algo que você pode contar: rascunhos enviados sem edição, consultas de verificação por sessão ou ativações de autonomia. Instrumente esse evento neste sprint. Estabeleça uma linha de base antes de definir uma meta, porque meta sem linha de base é desejo. Depois combine-a com uma métrica de guarda de erro, para que verificação em queda signifique confiança conquistada, e não fadiga. Um key result comportamental, uma métrica de guarda. É um placar de confiança que o seu conselho consegue ler e os seus engenheiros conseguem construir.

Fontes

Jeff Gothelf. “How to Write OKRs for an AI Product.” Junho de 2026.

A Victorino ajuda empresas a transformar confiança em IA em key results mensuráveis e governados: contato@victorino.com.br | www.victorino.com.br