Sua Conta de Modelo São Dois Números Multiplicados, e o Vendor Controla Um em Silêncio

TV
Thiago Victorino
7 min de leitura
Sua Conta de Modelo São Dois Números Multiplicados, e o Vendor Controla Um em Silêncio

A conta de um modelo são dois números multiplicados: o preço por milhão de tokens, e a quantidade de tokens em que o seu trabalho se transforma. Procurement negocia o primeiro número até a terceira casa decimal. Quase ninguém governa o segundo, e o segundo é onde o dinheiro realmente vaza. O vendor define esse número, não publica, e ele é diferente em cada vendor para exatamente o mesmo input.

Ruslan Ianberdin, do Playcode, fez a medição que todo mundo assume que outra pessoa já fez. Ele passou um arquivo TypeScript idêntico, de 2.888 caracteres, pelo endpoint de tokenizador de cada vendor e contou. O GPT transformou esse arquivo em 681 tokens. O Claude, no Sonnet 5 e no Opus 4.8, transformou o mesmo arquivo em 1.178 tokens. São 1,73 vezes mais tokens para um input byte a byte idêntico, antes de gerar uma única palavra de saída.

O segundo número é invisível por desenho

Preço de tabela é o número que o vendor quer que você compare, porque é o número em que o vendor consegue vencer. O Opus 4.8 anuncia US$ 5 por milhão de tokens de entrada e US$ 25 por milhão de saída. Limpo, competitivo, fácil de colocar num slide. Aí o tokenizador segmenta seu código em 1,73x mais pedaços que o tokenizador do concorrente, e o preço efetivo que você paga se comporta como US$ 7,50 na entrada e US$ 37,50 na saída. A etiqueta nunca mudou. A conta mudou.

A medição é reproduzível, e é essa a parte que importa. Ianberdin usou o tokenizador publicado de cada vendor, não uma estimativa, não um proxy. Qualquer um pode rodar de novo contra os próprios arquivos. Trate como um método que você verifica no seu repositório, não como o veredito de um vendor sobre outro. Seu código não é a amostra TypeScript dele. Rode no seu.

A diferença também varia com o tipo de conteúdo. Em prosa em inglês a mesma comparação encolhe para cerca de 1,40x, ainda relevante, porém mais branda. Código é onde a segmentação castiga mais forte, porque código é denso naquela pontuação, colchetes e identificadores que o tokenizador quebra de forma agressiva. As cargas de maior gasto em tokens, agentes de código mastigando arquivos grandes, são exatamente as cargas em que o multiplicador oculto é maior.

O multiplicador varia dentro do mesmo vendor

Isso não é só um problema entre vendors. Ele se move entre releases da mesma família de modelo. O tokenizador mais novo da Anthropic produz cerca de 30% mais tokens que o antecessor para o mesmo input. Um fluxo que você precificou e aprovou no trimestre passado pode custar um terço a mais neste trimestre sem nenhuma mudança no seu código, nenhuma mudança no preço de tabela, e nenhuma linha explicando o porquê. A fatura subiu. O dashboard mostra mais tokens consumidos. Nada avisa que a regra de segmentação mudou embaixo de você.

Se o seu modelo de custo assume que tokens por arquivo é constante, o seu modelo de custo está medindo um alvo móvel com uma régua parada. A contagem de caracteres do seu código é estável. A contagem de tokens é uma variável controlada pelo vendor que muda no calendário de release do vendor, não no seu.

O outro número que você de fato controla

O tokenizador define o multiplicador na entrada. Existe uma segunda alavanca do lado do volume, e essa é inteiramente sua: quanto trabalho você roteia por um modelo geral, para começo de conversa.

Vivek Haldar documentou o caso de forma limpa. Ele pegou uma skill de agente que havia estabilizado, um procedimento que o modelo executava da mesma forma toda vez, escrito em linguagem natural e executado por um agente geral queimando tokens a cada rodada. Ele compilou isso em código determinístico. A skill em linguagem natural virou uma função. O uso de tokens caiu 94%. A latência caiu 87%. A qualidade da saída se manteve.

Compilar uma skill estável reclassifica o gasto, do território de raciocínio para o de execução. Um procedimento estabilizado dispensa um raciocinador probabilístico para rededuzi-lo a cada chamada. Quando os passos param de mudar, o raciocínio vira desperdício, pago em tokens à taxa inflada por token, em toda execução. Compilar converte um custo recorrente medido em um custo fixo que você paga para escrever uma vez.

A disciplina está em saber quais skills estabilizaram. Um procedimento ainda em descoberta pertence à linguagem natural, onde a flexibilidade do modelo justifica seu custo. Um procedimento que rodou da mesma forma cem vezes é uma função vestida de prompt. Os 94% são apenas o que você recupera no instante em que para de pagar um motor de raciocínio para executar uma árvore de decisão que já não se ramifica.

As duas alavancas ficam a montante do dashboard

Repare onde as duas moram. O multiplicador do tokenizador é decidido na hora do procurement e da arquitetura, quando você escolhe qual vendor e modelo segmenta qual carga. A alavanca de compilar a skill é decidida na hora do design, quando você escolhe o que roda como raciocínio e o que roda como código. Nenhuma aparece num dashboard de monitoramento, porque um dashboard reporta tokens depois de gastos. Quando o número chega ao gráfico, as duas decisões já foram tomadas, em silêncio, pelo tokenizador e pela arquitetura.

Essa é a correção para como a maioria dos times trata custo de IA. O instinto é comprar observabilidade, observar a queima, e alertar em picos. Observabilidade te diz que você gastou. Não te diz que o tokenizador de um concorrente teria deixado a mesma saída 42% mais barata, nem que um terço do seu gasto é um agente geral rededuzindo um procedimento que parou de mudar meses atrás. Esses são fatos de arquitetura, e ficam decididos antes do primeiro token fluir.

Faça isso agora

Duas ações, ambas a montante, ambas nesta semana.

Primeiro, faça benchmark dos tokenizadores no seu próprio código. Pegue um arquivo representativo do seu repositório real, não uma amostra, e passe pelo endpoint de tokenizador de cada vendor candidato. Conte. Se um vendor segmenta seu código 1,7x mais pesado, isso é um prêmio efetivo de 70% no preço da sua carga de maior volume, e pertence à comparação de procurement ao lado do preço de tabela, não descoberto na fatura três meses depois. O preço de tabela é o primeiro número. A contagem de tokens é o segundo. Você está comprando o produto dos dois.

Segundo, inventarie suas skills de agente e marque as estáveis. Qualquer procedimento em linguagem natural que rodou da mesma forma por semanas é candidato a compilar. Escolha o de maior frequência e transforme em código determinístico. Os 94% de Haldar são o teto; mesmo uma fração deles, multiplicada por cada execução, compõe mais rápido que qualquer desconto por token que você venha a negociar. Custo se decide na arquitetura, uma vez, muito antes do número aparecer subindo no gráfico.


Fontes

A Victorino ajuda times a transformar custo de IA em decisão de arquitetura, não em surpresa mensal: contato@victorino.com.br | www.victorino.com.br

Todos os artigos do The Thinking Wire são escritos com o auxílio do modelo LLM Opus da Anthropic. Cada publicação passa por pesquisa multi-agente para verificar fatos e identificar contradições, seguida de revisão e aprovação humana antes da publicação. Se você encontrar alguma informação imprecisa ou deseja entrar em contato com o editorial, escreva para editorial@victorino.com.br . Sobre o The Thinking Wire →

Se isso faz sentido, vamos conversar

Ajudamos empresas a implementar IA sem perder o controle.

Agendar uma Conversa