Quanto Mais Confiável o Agente, Mais Difícil Justificar Alguém Observando

A Andon Labs entregou a 15 modelos de fronteira um quadricóptero barato de prateleira e pediu que escrevessem o código capaz de encontrar uma pessoa específica dentro de um ambiente fechado e permanecer com ela. Os modelos não pilotam nada. Eles escrevem software, o software voa, e o voo é pontuado. A partir do Opus 4.8, a submissão média supera a linha de base humana nas duas tarefas que envolvem uma pessoa: Detect e Follow.

Esse resultado pertence a uma conversa de governança antes de pertencer a uma de capacidade. A própria Andon enuncia a consequência na página do benchmark: quanto mais capazes os modelos ficam, mais fácil é usá-los indevidamente; quanto mais confiáveis ficam, mais difícil é justificar um humano observando. Confiabilidade é o que dissolve o argumento político da supervisão, e ela chega exatamente no momento em que o pior desfecho deixa de ser um parágrafo ruim e passa a ser uma colisão.

O Que o Drone-Bench Mede de Fato

A avaliação encadeia cinco tarefas que um agente físico precisa executar em sequência. Reconstruct constrói o entendimento tridimensional da sala a partir dos dados de voo. Localize posiciona o drone dentro dessa reconstrução. Navigate o leva até uma coordenada alvo. Detect identifica uma pessoa específica no quadro. Follow mantém posição sobre essa pessoa enquanto ela se move.

As linhas de base humanas, estabelecidas por pessoas escrevendo o mesmo código, ficam assim: Reconstruct 82,2%, Localize 84,0%, Navigate 92,0%, Detect 72,1%, Follow 67,4%. Os dois números mais baixos são justamente as duas tarefas que envolvem um corpo humano em movimento. É onde os modelos hoje vencem. Na demonstração de Follow, a linha de base humana manteve distância média de 1,21 metro do alvo. O fable-5 manteve 0,87 metro.

A metodologia merece leitura antes de qualquer conclusão. Cada modelo recebe 10 execuções, com 10 submissões pontuadas por execução. E cada tarefa roda em isolamento, com artefatos limpos injetados das etapas anteriores. Um modelo que tenta Follow recebe uma reconstrução correta, uma localização correta e uma navegação correta. Ele nunca precisa sobreviver aos próprios erros anteriores. Reconstruct é avaliado em 39 waypoints reservados (741 pares), de modo que o entendimento espacial não pode ser decorado do voo que o produziu.

O Zero Que Ninguém Está Citando

Sucesso ponta a ponta nas cinco tarefas: 0%. Nenhum modelo, nenhuma vez. Nenhuma execução jamais superou a linha de base humana em Reconstruct. Uma execução típica encadeia as cinco tarefas em cerca de 6% das vezes.

Dois números da mesma página apontam para direções opostas, e ambos são verdadeiros. Sobre-humano nas tarefas mais próximas da pessoa. Zero na cadeia completa. O desenho de isolamento explica a distância entre eles: uma cadeia de cinco estágios, cada um forte isoladamente, ainda desaba porque os erros se compõem. O drone que segue uma pessoa com elegância está seguindo a pessoa errada se o Detect recebeu uma reconstrução que ele mesmo construiu e errou no waypoint três.

Já escrevemos sobre raio de impacto como a unidade real de risco em autonomia em sistemas de software, onde um agente comprometido exfiltra dados ou derruba uma tabela. O Drone-Bench leva o mesmo argumento para dentro de uma sala. Aqui o raio de impacto é uma pessoa parada na trajetória de voo. Um score de 0% ponta a ponta não protege ninguém, porque a falha que machuca é um estágio único dando errado em velocidade, não o pipeline deixando de completar.

A Execução Média Está Seis Meses Atrás da Melhor

O achado operacional mais afiado do benchmark não tem nada a ver com drones. O fable-5 supera a linha de base humana em 2% das primeiras submissões e em 52% das melhores submissões. Na média dos 15 modelos, ir da primeira tentativa até a melhor melhora o resultado em 182%. Para o fable-5, a melhora é de 312%.

A Andon traduz isso em uma unidade que a área de compras sente: a execução média fica cerca de seis meses de progresso de modelo atrás da melhor execução. O modelo que aparece no post de lançamento é o modelo melhor-de-dez. O modelo que o seu operador de fato recebe, na primeira tentativa, numa terça-feira, é o modelo de duas versões atrás.

É aqui que a maioria das decisões de implantação erra. Um piloto produz uma demo, a demo é uma melhor submissão, e a capacidade em torno da qual a organização passa a planejar aparece em uma tentativa a cada dez. O insumo correto de planejamento é o número de primeira submissão. Tudo acima disso é função do orçamento de iteração, e orçamento de iteração é exatamente o que um sistema físico operando em tempo real não tem.

A Ressalva Que a Andon Faz Contra o Próprio Resultado

Toda tentativa no Drone-Bench recebe um score verificável. A avaliação sabe se o drone encontrou a pessoa certa e quão perto permaneceu. A Andon aponta isso como o ingrediente artificial, e a observação merece mais peso do que uma nota de rodapé.

Autonomia no mundo real é limitada por verificação, não por capacidade. Dentro do harness, um modelo pode submeter dez vezes porque dez submissões podem ser corrigidas. Tire o corretor e a curva de melhora de 2% para 52% não tem o que escalar. O operador em um galpão não tem oráculo dizendo que o drone seguiu a pessoa correta. Ele tem o relato do próprio drone, gerado pelo mesmo sistema cuja confiabilidade está em questão.

Esse é o limite honesto do que o benchmark prova, e ele reforça o argumento de governança. Se confiabilidade é o que remove o observador humano, e verificação é o que justificaria removê-lo, então as duas coisas estão desacopladas. Os times vão atingir o patamar de confiabilidade que faz a supervisão parecer cara muito antes de atingir o patamar de verificação que a tornaria dispensável. O problema da verificação que você não vê, familiar em revisão de código, vira problema de segurança física no instante em que o agente ganha massa e velocidade.

Melhorar a Confiabilidade É o Que Remove o Humano

A narrativa habitual diz que confiabilidade conquista para o agente o direito de operar sem acompanhamento. O Drone-Bench inverte o mecanismo. Confiabilidade torna o humano difícil de defender numa reunião de orçamento. Um operador acompanhando um drone que acerta 95% das vezes parece desperdício na planilha, e o argumento para mantê-lo não pode sair da taxa de acerto. Ele precisa sair do custo dos 5%.

Em software, os 5% são um rollback. Em uma sala, são um boletim de ocorrência. A decisão de supervisão, portanto, não pode ser indexada a nenhuma métrica de confiabilidade, o que é desconfortável, porque confiabilidade é a única métrica que esses sistemas produzem de forma limpa.

Faça Isto Agora

Pegue um sistema autônomo que você já opera, físico ou não, e escreva dois números: a taxa de sucesso na primeira tentativa e a taxa de sucesso na melhor de N tentativas. Se você só tem o segundo, está planejando contra uma capacidade que não possui. Depois responda por escrito, junto com quem aprova headcount, a uma pergunta: que evidência, além da taxa de sucesso, justificaria remover o humano deste loop?

Se a única resposta for “ficou mais confiável”, o loop ainda precisa do humano, e você agora tem a frase para defendê-lo. Já que está aí, confirme que o sistema tem um caminho de parada funcionando; as seis superfícies que um kill switch precisa cobrir valem com mais urgência quando o agente tem hélices.

---

Fontes

• Andon Labs. “Drone-Bench.” Julho de 2026.

A Victorino ajuda organizações a decidir onde a supervisão humana de sistemas autônomos deve ficar, e a provar essa decisão: contato@victorino.com.br | www.victorino.com.br