Cinco de Seis Benchmarks de IA em Saúde Dão ao Modelo Menos que um Prontuário Real

Cinco de seis benchmarks públicos de IA em saúde dão ao modelo menos contexto do que o prontuário mediano de um paciente real. Vários entregam menos de 200 tokens por caso, abaixo de 2,5% dessa mediana. Os números vêm da Protege, cujo CEO Bobby Samuels os publicou em agosto de 2026 como guest post na newsletter da a16z, em colaboração com a Protege. É material assinado por fornecedor e deve ser lido como argumento comercial, com o viés que isso implica. Ainda assim, é a descrição mais afiada do problema que li neste ano.

A Protege relata que, em um conjunto aleatório de pacientes reais dentro dos seus dados, o prontuário mediano contém cerca de 8.500 tokens e a média cerca de 39.000. A distância entre média e mediana mostra o formato da distribuição: uma cauda longa de pacientes enormemente complexos, e um conjunto de benchmarks calibrado para nenhum deles. Um modelo que vai bem em uma vinheta de 200 tokens demonstrou uma coisa de forma confiável, que é responder a uma vinheta de 200 tokens.

A Referência que Não Existe

Já escrevemos sobre benchmarks inválidos em vez de contaminados e sobre métricas que medem o artefato em vez do resultado. Os dois casos são problemas de software, e problemas de software trazem um conforto: existe uma resposta certa. O teste compila ou falha. A transação concilia ou fica aberta. Quando um benchmark de software está errado, alguém pode, em princípio, escrever um melhor.

A medicina retira esse conforto. No momento em que uma decisão clínica é tomada, com frequência não existe resposta correta estabelecida contra a qual avaliar. A verdade do desfecho chega anos depois, misturada com adesão ao tratamento, comorbidade, sorte e o contrafactual que ninguém rodou. Avaliar contra consenso de especialistas troca o problema por outro, porque o consenso de especialistas é mais fino do que os comitês de compras supõem.

A evidência mais forte da Protege é um caso de cirurgia de joelho. Características do paciente, comorbidades, instalações e ano explicam apenas 3,4% da variação na escolha entre procedimento parcial e total. Ao adicionar a identidade do cirurgião, isso salta imediatamente para 14,8%. Ou seja, 77% da variação explicada entre parcial e total se resume a quem era o cirurgião. Derivando desses dois números, a identidade do cirurgião responde por cerca de 11,4 pontos da variação total, mais de três vezes tudo o que os dados clínicos explicam somados.

O padrão aparece muito além dos joelhos. Em 15 operações com duas variações, a identidade do médico responde por 7% a 77% da variação explicada. Então, quando você constrói um benchmark cujo gabarito é a escolha que os médicos fizeram, boa parte do que está sendo codificado são os hábitos individuais de quem por acaso segurava o bisturi.

Essa é uma falha diferente da que nossos textos sobre teste de software descrevem. Lá a referência existia e o teste a usava mal. Aqui a referência simplesmente não existe no momento da decisão. Nenhuma dose de teste melhor escrito produz uma.

O Que a Nota de um Benchmark de Saúde Certifica

Junte os dois achados e o significado de um número de leaderboard encolhe para algo bem estreito. Ele certifica que um modelo, recebendo uma fração da informação que o clínico teria, produziu saídas compatíveis com um gabarito montado a partir de decisões substancialmente idiossincráticas.

Isso é uma afirmação sobre como a prova foi redigida, e a cobertura dela termina aí. Segurança clínica fica de fora, e o peso que a área de compras coloca em cima dessa nota excede de longe o que ela sustenta. Se a sua avaliação de fornecedor, o seu aval clínico ou o seu registro de riscos do conselho cita a nota de um benchmark como evidência de segurança, a evidência é teatro. É o mesmo vácuo de governança que descrevemos na análise da MedVi, agora com uma camada de medição que falha por estrutura, antes de qualquer descuido administrativo.

A escala da exposição é concreta. A OpenAI relata que mais de 300 milhões de pessoas usam o ChatGPT para perguntas relacionadas a saúde toda semana, um dado auto-reportado que carrega o próprio “mais de”. A Protege também projeta que em breve quase um terço de todas as notas SOAP (Subjetivo, Objetivo, Avaliação e Plano) será escrito por IA. Isso é projeção sobre o rumo da documentação clínica, ainda sem medição de estado atual, e deve ser tratado com reserva. Mesmo descontada com força, descreve uma superfície que nenhum benchmark pré-implantação consegue certificar.

Mova o Controle para Depois da Implantação

Se o portão anterior à implantação não é confiável, o controle precisa ficar depois dele, em produção, onde os desfechos são observáveis mesmo quando são lentos.

A Protege aponta um sinal vivo, vindo dos dados de EMR da sua própria rede de parceiros. Em parte de 2026, cerca de 1.686 por milhão de notas registraram interações em que o paciente quis esclarecimento sobre algo que um modelo disse. A Protege afirma que esses números são descritivos, sem valor de estimativa causal. Sendo dados próprios sobre a própria rede, o número serve como prova de que a medição é possível, e lê-lo como taxa de mercado seria erro. O que importa é o formato. Um paciente que pede esclarecimento é um evento detectável dentro de uma nota, e eventos detectáveis podem ser contados, acompanhados no tempo e alertados. Isso é um controle. Uma posição em leaderboard fica fora dessa categoria.

Vale citar diretamente a reformulação que a Protege propõe para o campo inteiro: “Com o mesmo nível de gasto em saúde, conseguimos produzir mais saúde quando adotamos tecnologia de IA mais rapidamente?” Essa pergunta é respondível, de forma lenta e cara, com instrumentação. Benchmark nenhum a responde.

As medidas que a Protege propõe no lugar das notas de benchmark se dividem em três famílias. Desfechos reais de saúde: expectativa de vida, anos de vida ajustados por qualidade, burnout de enfermagem, rotatividade médica. Métricas de entrega: negativas de cobertura, dívida médica, desconfiança médica. E detecção ao vivo de desalinhamento voltada a excesso de zelo e bajulação, os dois modos de falha que um benchmark feito de vinhetas agradáveis tem menos condição de revelar.

Algumas dessas medidas levam anos para se mexer. Esse é o custo honesto da posição. Um controle que reporta em anos é desconfortável, e ainda assim é melhor que um controle que reporta instantaneamente e não significa nada.

Faça Isto Agora

Abra a documentação dos seus fornecedores de IA e encontre toda nota de benchmark citada como evidência de desempenho clínico. Para cada uma, responda por escrito a duas perguntas. Quantos tokens de contexto do paciente o benchmark forneceu por caso, e de onde veio o gabarito? Fornecedor sem resposta para a primeira não leu a própria avaliação. Fornecedor que responde à segunda com “consenso de especialistas” ou “rotulado por médicos” agora te deve a concordância entre avaliadores, porque os números da cirurgia de joelho dizem que esse gabarito pode estar codificando o rotulador mais do que a medicina.

Depois, tire a nota dos critérios de aprovação. Coloque no lugar dois instrumentos de produção: um contador de pedidos de esclarecimento do paciente em notas tocadas por IA, e uma fila de revisão que amostra documentação gerada por IA contra o prontuário de onde ela saiu. Nenhum dos dois prova que o modelo é seguro. Os dois avisam quando ele deixa de ser, que é a única coisa que um número pré-implantação um dia fingiu fazer.

Fontes

Bobby Samuels, CEO da Protege (guest post na newsletter da a16z, em colaboração com a Protege). “The Oracle Problem: an invisible bottleneck to AI and medicine.” Agosto de 2026.

A Victorino ajuda organizações de saúde e setores regulados a substituir aprovação de IA baseada em benchmark por instrumentação de produção que sobrevive a auditoria: contato@victorino.com.br | www.victorino.com.br