O Limiar do Classificador Que Ninguém Aprovou

No conjunto de dados IBM-Telco de churn, o limiar de decisão padrão 0.5 precifica cerca de US$ 86,11 de gasto evitável por cliente. Em 100.000 assinantes, isso dá US$ 8,6M por ano, decididos por um único operador de comparação que ninguém no financeiro jamais aprovou. O número vem da análise de Fabio Oliveira na Towards Data Science, e expõe um artefato de governança escondido à vista de todos: predict(X) >= 0.5.

Essa linha é onde uma probabilidade vira uma ação. Abaixo do número, o cliente fica em paz. No número ou acima dele, a empresa gasta dinheiro para retê-lo: um desconto, uma ligação, uma concessão. O limiar decide quem recebe tratamento e quem não recebe, e cada um desses tratamentos tem um custo. Um cientista de dados digitou 0.5 porque é o padrão da biblioteca, e o modelo foi para produção carregando uma regra de precificação que o financeiro nunca teria assinado se estivesse escrita em um term sheet.

O Limiar É uma Decisão de Negócio Fantasiada de Matemática

0.5 parece um ponto médio neutro. Não é nada neutro. Ele só faz sentido quando o custo de um falso positivo iguala o custo de um falso negativo, e esses custos quase nunca são iguais.

No caso de churn, um falso negativo significa que o modelo perdeu um cliente que estava prestes a sair. Você perde o valor de vida dele. Um falso positivo significa que o modelo sinalizou um cliente fiel que nunca ia sair, e você gastou orçamento de retenção com alguém que não precisava. Na contabilidade de Oliveira sobre esse conjunto de dados, perder um cliente que dá churn custa aproximadamente 13,2 vezes mais do que tratar em excesso um cliente fiel. A razão de falso negativo para falso positivo é 13,2:1.

Quando um erro é 13 vezes mais caro que o outro, 0.5 embute um viés sistemático rumo ao erro mais barato na direção errada. O modelo espera estar mais de 50% seguro de que um cliente vai dar churn antes de agir, enquanto a economia diz que você deveria agir no sinal mais tênue, porque o prejuízo da inação é muito maior do que o custo de um desconto desperdiçado.

Ancore os Custos e a Fronteira se Move

Quando você precifica os dois erros em dólares reais, o limiar de custo ótimo deixa de ser questão de gosto e vira aritmética. Você varre o limiar de 0 a 1, calcula o custo total esperado em cada ponto usando os valores reais em dólar de falso negativo e falso positivo, e escolhe o mínimo.

Nesse conjunto de dados, o limiar que minimiza o custo aterrissa em 0.03, não em 0.5. Agir quando o modelo tem apenas 3% de confiança soa imprudente até você lembrar da razão de 13 para 1: nessa assimetria, tratar quase todo mundo que mostra um sussurro de risco de churn sai mais barato do que perder os poucos que saem. Mover o limiar de 0.5 para 0.03 recuperou US$ 121.160 em um conjunto de teste de 1.407 linhas. Escale isso para a base inteira de assinantes e o número de US$ 8,6M deixa de parecer um erro de arredondamento.

Dois custos governam todo o cálculo, e ambos pertencem ao financeiro, não ao modelo:

Custo de aquisição de cliente, que define quanto vale substituir um cliente perdido.
Valor de vida baseado em sobrevivência, que estima por quanto tempo um cliente retido continua pagando, usando análise de sobrevivência em vez de uma média achatada.

Nenhum dos dois números vive no notebook. Ambos vivem no negócio. O limiar é onde eles são gastos, e é exatamente por isso que quem é dono do orçamento deveria ser dono do limiar.

Por Que Ninguém Assinou

Aqui está a parte incômoda. De 36 análises públicas indexadas desse mesmo conjunto IBM-Telco, 80 a 90% reportam F1 ou AUC. Menos de 15% chegam a desenhar uma curva de lucro. Zero calculam um valor de vida baseado em análise de sobrevivência. O campo otimiza para uma métrica de ranking e para antes da pergunta em dólares.

F1 e AUC são agnósticos ao limiar ou calculados sobre uma média de limiares. Eles dizem que o modelo ordena bem os clientes. Não dizem nada sobre onde cortar a ordenação, e o corte é a decisão de negócio inteira. Um modelo com um AUC lindo e um limiar padrão ainda pode sangrar milhões, porque o AUC nunca perguntou quanto custa um falso negativo.

Então o limiar acaba sem assinatura, por omissão. O cientista de dados vê um parâmetro de modelagem e escolhe o valor da biblioteca. O financeiro vê um modelo que lhe disseram ser “94% preciso” e assume que a pergunta do dinheiro foi resolvida. O produto vê um dashboard. Ninguém vê a decisão de precificação, porque ela está disfarçada de >= 0.5 dentro de uma chamada de função, e funções não aparecem em revisões de orçamento. É a mesma falha que descrevemos na camada determinística em torno de agentes probabilísticos: o controle que importa vive no código, não em um lugar que algum dono esteja vigiando.

Torne o Limiar um Artefato de Governança de Primeira Classe

A correção não é um modelo melhor. O modelo está bom. A correção é tirar o limiar do código e lhe dar um nome, uma justificativa em dólares e um dono.

Trate todo modelo de pontuação em produção como você trataria uma mudança de preço. Um limiar de churn, um limiar de fraude, um corte de risco de crédito, uma fronteira de moderação de conteúdo, uma linha de pontuação de leads: cada um converte uma probabilidade em uma ação denominada em dólares, e cada um é atualmente definido por quem escreveu a chamada predict. Essa é uma superfície de controle sem governança, a mesma categoria de risco de um valor de configuração não revisado que move dinheiro em silêncio.

Um limiar governado tem quatro propriedades. Ele é escrito como um número com data. Carrega os custos de falso negativo e falso positivo que o justificam. Nomeia um dono de negócio, tipicamente no financeiro, que aprovou a troca. E é revisado em cronograma, porque custo de aquisição e valor de vida derivam, e um limiar que era ótimo no primeiro trimestre precifica o valor errado até o quarto.

Faça Isso Agora

Escolha um modelo de pontuação que você tenha em produção. Encontre a linha onde a probabilidade dele vira uma ação. Será uma comparação contra uma constante, quase certamente 0.5.

Depois faça três perguntas e anote as respostas:

Quanto nos custa um falso negativo em dólares, e quanto custa um falso positivo? Se ninguém souber responder, esse é o achado: você está precificando uma decisão sem preço.
Varra o limiar por toda a faixa contra esses dois custos. Onde o custo total esperado é o menor? Se for em qualquer lugar diferente do seu valor atual, você quantificou o dinheiro que o padrão está custando.
Quem assina o número? Coloque um nome nele, idealmente a pessoa dona do orçamento que ele gasta. Adicione o limiar e sua justificativa de custo ao que quer que seu time revise quando revisa preços.

Os números exatos aqui pertencem a um conjunto de dados e às premissas de custo de um autor. A estrutura generaliza para todo modelo de pontuação que você roda. Um limiar de probabilidade é um preço. Neste momento ele é definido por um padrão e assinado por ninguém. Dê a ele um dono antes que a próxima revisão de incidente o descubra por você.

Fontes

Towards Data Science (Fabio Oliveira). “Your Churn Threshold Is a Pricing Decision.” Junho de 2026.

A Victorino ajuda times a transformar limiares de modelo sem governança em decisões precificadas com um dono nomeado: contato@victorino.com.br | www.victorino.com.br