Defina a Linha da IA pelo Raio de Impacto e Reversibilidade

O próprio manual de treinamento da IBM, de 1979, já resolveu isto: “Um computador nunca pode ser responsabilizado, portanto um computador nunca deve tomar uma decisão de gestão.” Quarenta e seis anos depois, a IBM Think reabriu a questão e deu uma resposta mais frouxa. Onde termina a decisão da IA e começa o julgamento humano? Um alvo móvel, conclui o texto, definido caso a caso por ética, risco e confiança, sem “linha rígida e definitiva” porque a legislação “não acompanhou o ritmo”.

A regra de 1979 estava certa. Faltava a ela uma definição de engenharia para “decisão de gestão”. Essa definição existe hoje, e ela torna a linha traçável.

Os Três Critérios Frouxos da IBM

O modelo do texto da IBM Think, escrito por Doug Bonderud e apoiado em citações de Guy Pearce, da DEGI e da ISACA, se sustenta em três testes. Ética é onde a IA “não consegue”, nas palavras de Pearce, porque um modelo busca o caminho mais eficiente, não o mais ético. Risco é “uma especialidade da IA”, mensurável por erro padrão e variabilidade. Confiança é a camada de conforto humano por cima.

Cada teste é real. Cada um também é um julgamento feito por decisão, por tema, por um comitê. É isso que mantém a linha borrada, e Pearce nomeia o custo do borrão de forma direta: “responsabilidade compartilhada muitas vezes leva a nenhuma responsabilidade”. Quando três departamentos co-detêm uma decisão, nenhum deles a detém. A linha borrada e a responsabilidade que evapora são o mesmo problema com duas faces.

A adoção já correu na frente da deliberação. O Global AI Adoption Index da IBM relata que 42% das empresas implantaram IA ativamente e outros 40% estão experimentando, com 59% das que usam ou exploram a tecnologia acelerando o investimento nos dois anos anteriores. O relatório AI in Action da IBM acrescenta que dois terços dos líderes creditam à IA uma melhora superior a 25% nas taxas de crescimento da receita. Sistemas decidem em escala enquanto a questão de governança segue aberta. Uma linha borrada nesse volume é um passivo permanente.

Duas Propriedades Substituem Três Julgamentos

Ética, risco e confiança são propriedades do conteúdo de uma decisão, e conteúdo é infinito. Você não consegue pré-julgar cada tema que um agente vai tocar. Então pare de traçar a linha por tema. Trace-a pelas duas propriedades da própria ação, ambas conhecíveis antes de o agente rodar.

Reversibilidade. Esta ação pode ser desfeita, e a que custo? Ler um registro é totalmente reversível. Rascunhar uma mensagem é reversível até enviar. Apagar uma tabela de produção, disparar um pagamento ou dirigir um veículo não é reversível de jeito nenhum. A reversibilidade se define pela classe de ação, e o tema não muda isso. Um delete é irreversível quer atinja uma lista de marketing, quer atinja um prontuário.

Raio de impacto. Se esta ação estiver errada, até onde o dano viaja e com que velocidade? Um cliente ou a carteira inteira. Uma caixa de entrada ou a imprensa. Um erro de arredondamento ou uma ameaça à solvência. Definimos raio de impacto como a variável central de escopo de autonomia em Três Falhas de Autonomia, Três Raios de Impacto, e o argumento se mantém: o formato do pior caso diz qual contenção você precisa.

Esses dois eixos são mecânicos. Não exigem que um comitê se reúna. Podem ser anexados a uma classe de ação em código, uma vez, e aplicados no harness em vez de discutidos em reunião.

Os 8% São o Argumento Inteiro

A IBM apresenta o concierge AIda, da Consult Venture Partners, construído sobre o watsonx Assistant, como um sucesso: respondeu 92% das consultas corretamente. Vire o número do avesso. Ele errou em 8% das vezes. Para um concierge de geração de leads, uma taxa de erro de 8% está de bom tamanho. O raio de impacto de uma resposta errada sobre horário de funcionamento é um prospecto levemente irritado, e a ação é totalmente reversível com um follow-up. Coloque esses mesmos 8% por trás da aprovação de um empréstimo, de uma triagem médica ou de uma transferência bancária e vira catástrofe, porque o raio de impacto são as finanças ou a saúde de uma pessoa e a ação não reverte.

Mesmo modelo, mesma acurácia, veredito oposto. A taxa de erro aceitável é uma propriedade do raio de impacto e da reversibilidade da ação, jamais do modelo em si. É exatamente por isso que uma linha por ferramenta ou por tema falha e uma linha por classe de ação funciona. O modo “full self-driving” da Tesla era acurado na esmagadora maioria das vezes; o motociclista que ele atropelou e matou em julho de 2024, segundo a CNN, caiu na fração em que uma ação irreversível e de raio máximo encontrou um julgamento errado.

Responsabilidade Singular É uma Escolha de Projeto

Pearce trata a responsabilidade compartilhada como um traço inerente às decisões de IA. Ela é um padrão de projeto, e padrões podem ser mudados. A responsabilidade evapora quando um escopo não tem dono. Anexe um dono ao escopo e ela para de evaporar.

Quatro mecanismos tornam a responsabilidade singular e auditável. Um dono humano nomeado para cada classe de ação irreversível ou de raio alto, uma assinatura, não um comitê. Uma permissão escopada no harness, de modo que o agente fisicamente não consiga executar fora da sua classe, que é onde a imposição vive, porque a camada de instrução dentro do modelo é pouco confiável sob profundidade. Uma trilha de auditoria que registra cada ação autônoma com a sua classe, os seus insumos e o seu dono. E um placar onde toda ação é consolidada, para que o dono enxergue a deriva antes de ela se compor. Descrevemos esse substrato de controle em O Substrato de Governança para Operações Autônomas e enquadramos a autonomia governada como ponto de convergência em A Convergência para a Autonomia Governada.

Rode esses quatro e “manter um humano no circuito” deixa de ser um slogan. O conselho da IBM de reter supervisão humana está correto e subespecificado. Um humano no circuito sem escopo definido, sem permissão imposta e sem placar é um espectador com negação plausível. Um humano que detém uma classe de ação nomeada, vê cada ação contra um único placar e segura a única chave das irreversíveis é responsável no sentido que o manual de 1979 exigia. Guardrails são o mecanismo que torna a supervisão real, ponto que desenvolvemos em Guardrails de Alucinação São Governança.

Faça Isto Agora

Pegue o seu agente de maior autonomia e inventarie as classes de ação dele, não os temas. Para cada classe, marque duas coisas: é reversível, e qual é o pior raio de impacto se ela disparar errado. Aprove automaticamente as classes reversíveis e de raio baixo e deixe o agente rodar. Coloque cada classe irreversível ou de raio alto atrás de um dono nomeado, com permissão escopada e uma linha de auditoria. Aponte tudo isso para um único placar. Você terá traçado a linha que a IBM diz não ser traçável, e terá feito isso uma vez, em código, em vez de mil vezes, em reunião.

Ainda não haver linha legal não significa não haver linha operacional. A linha operacional é construível hoje, e as empresas que a construírem serão as que ficarão de pé quando a legislação enfim chegar.

---

Fontes

• IBM Think. “AI decision-making: Where do businesses draw the line?.” Janeiro de 2025.
• IBM Newsroom. “Global AI Adoption Index 2023.” Janeiro de 2024.
• IBM. “AI in Action report.” 2024.
• CNN. “Tesla em modo full self-driving atropela e mata motociclista.” Julho de 2024.

A Victorino ajuda CTOs e diretores de risco a transformar “manter um humano no circuito” em permissões escopadas, donos nomeados e um único placar: contato@victorino.com.br | www.victorino.com.br