Os Instrumentos Divergem: Telemetria e Pesquisas Sobre o Impacto da IA

Dezesseis desenvolvedores experientes de código aberto previram que a assistência de IA os deixaria 24% mais rápidos. A METR então cronometrou 246 tarefas reais, em repositórios maduros que eles conheciam profundamente, sob condições randomizadas e controladas. Com IA liberada, eles levaram 19% mais tempo. Ao terminar, com a lentidão já registrada nos dados de tempo, ainda estimaram que a IA os havia acelerado em cerca de 20%. A distância entre crença e medição ficou perto de 39 pontos, nas mesmas pessoas, fazendo o mesmo trabalho.

Esse único experimento reenquadra todo número de produtividade de IA que você viu neste ano. Sobre o impacto da IA, a percepção não é um indicador atrasado da realidade; neste momento, é um indicador invertido. Os desenvolvedores não mentiram nem foram descuidados. Eles vivenciaram a ferramenta como ajuda enquanto o relógio registrava atrito. E os dois principais instrumentos de medição da indústria acabam de se dividir exatamente nessa linha.

Dois Instrumentos, Duas Histórias

O DORA entrevistou cerca de 5.000 profissionais de tecnologia em meados de 2025 e concluiu que “o papel primário da IA é de amplificador, magnificando as forças e fraquezas existentes de uma organização”. Para uma organização bem administrada, a leitura é reconfortante. Fundações fortes deveriam significar que a IA compõe sobre o que você já faz bem.

O relatório 2026 da Faros AI partiu de telemetria: dois anos de dados de entrega de 22.000 desenvolvedores em mais de 4.000 times. O achado contradiz a tese do amplificador justamente no ponto em que ela mais importa. Na telemetria, organizações com práticas de engenharia fortes antes da IA mostram a mesma degradação a jusante que organizações sem essas práticas. A maturidade não protegeu ninguém. O relatório se posiciona como contraponto direto ao DORA e comprime a disputa de método em uma frase: “a percepção atrasa em relação à realidade, a telemetria não”.

Os dois projetos são sérios e igualmente rigorosos. A divergência vem do que cada instrumento consegue enxergar. Uma pesquisa amostra o que os respondentes sabem e sentem no dia em que a pergunta chega. A telemetria amostra o que o sistema de entrega de fato fez. Quando os dois divergem, a própria divergência é informação, e o experimento da METR indica qual direção merece o benefício da dúvida.

O Que Uma Pesquisa Não Consegue Ver a Tempo

Considere um número do conjunto de dados da Faros: pull requests mesclados sem nenhuma revisão subiram 31,3%. Nenhum desenvolvedor sente esse número. Cada merge sem revisão parece uma exceção razoável no momento, um PR pequeno, um colega de confiança, um prazo apertado. As consequências (defeitos escapando, conhecimento se concentrando em menos cabeças, disciplina de revisão se desgastando) aparecem meses depois. Quando uma pesquisa consegue registrá-las, registra um desconforto vago, sem endereço e sem data.

Os achados de qualidade por trás dessa estatística são o assunto de uma peça companheira, o chicote da aceleração e o trabalho de verificação. Esta peça é sobre o instrumento, e o problema do instrumento vai além de qualquer relatório isolado.

A pesquisa de desenvolvedores 2025 do Stack Overflow mostra o próprio sentimento andando na contramão do uso. 84% dos desenvolvedores usam ou planejam usar ferramentas de IA, contra 76% em 2024. No mesmo período, a aprovação caiu de mais de 70% em 2023 e 2024 para 60%, e 45,7% dos respondentes desconfiam ativamente da precisão do que a IA produz, contra 32,7% que confiam. O uso sobe enquanto a confiança cai. O que quer que o sentimento esteja rastreando, não é um proxy estável de valor entregue, porque nem consegue manter uma relação estável com a adoção.

Os limites da METR merecem ser ditos com clareza. A amostra tinha 16 desenvolvedores, todos experientes, todos trabalhando em bases de código grandes e maduras que conheciam intimamente, o que é quase o pior caso para assistência de IA. A própria METR alerta contra generalizar os 19% de lentidão para outros contextos. O que sobrevive a todas as ressalvas é o descompasso de percepção: os mesmos indivíduos, com conhecimento completo do próprio dia de trabalho, erraram a direção do efeito antes das tarefas e de novo depois delas. O autorrelato falhou na pergunta mais fácil possível, “isso me deixou mais rápido”, feita às pessoas mais bem posicionadas para respondê-la.

Nada disso condena as pesquisas naquilo para que elas servem. O DORA mede cultura, satisfação e burnout com uma década de cuidado metodológico, e esses são resultados reais que a telemetria não alcança. O modo de falha é mais estreito e mais caro: tratar sentimento como proxy de resultados de entrega e depois tomar decisões de entrega em cima dele.

Aplique o Ceticismo de Forma Simétrica

A Faros vende ferramentas de inteligência de engenharia. Seu relatório lucra com a conclusão de que pesquisas são inadequadas e telemetria é indispensável. Esse interesse não torna o achado errado; o experimento da METR é independente e aponta na mesma direção. Mas significa que os números do fornecedor merecem exatamente o escrutínio que o fornecedor aplica às pesquisas. Você não consegue auditar o conjunto de 22.000 desenvolvedores, a seleção de times nem as definições de métrica por trás das porcentagens de manchete. Uma alegação de telemetria que não pode ser auditada é uma pesquisa de opinião com marketing melhor.

A saída é a mesma nos dois casos: seja dono da sua instrumentação. O sinal que importa já vive em sistemas que você opera. PRs mesclados sem revisão é uma consulta contra o seu próprio servidor git. Taxa de escape de defeitos, frequência de reverts, profundidade de revisão e tempo entre merge e incidente são todos contáveis a partir do seu próprio ferramental, sob definições que os seus engenheiros escreveram e sabem defender. Um dashboard comprado troca um instrumento que você não audita por outro que você também não audita.

Este é o mesmo argumento de governança de quem assina e quem prova na cadeia de responsabilidade. Decisões que movem headcount e orçamento precisam de evidência que alguém possa sustentar, e uma nota de sentimento não carrega assinatura. Ele também rima com o limiar do classificador que ninguém aprovou: a escolha do instrumento de medição é, ela mesma, uma decisão de governança, e hoje a maioria das organizações a toma por omissão, com o número que chegou primeiro em um slide.

Faça Isso Agora

Três movimentos, nesta ordem.

Inventarie as decisões de IA que hoje repousam sobre sentimento. Planos de headcount, renovações de ferramenta, mandatos para expandir a autoria de IA para novas áreas da base de código. Para cada uma, escreva a evidência por trás. Se a evidência for uma nota de pesquisa ou “o time se sente mais rápido”, marque. Os participantes da METR se sentiram 20% mais rápidos rodando 19% mais devagar; essa classe de evidência agora é formalmente não confiável para essa pergunta.
Levante duas ou três métricas de entrega a partir de sistemas que você já possui. Cobertura de revisão em PRs mesclados é a mais rápida de construir e a mais diagnóstica, dado o desvio de 31,3% que a Faros observou em escala. Estabeleça a linha de base antes de expandir mais a autoria de IA, porque uma linha de base registrada depois da mudança não prova nada.
Rode o teste de percepção deliberadamente. Pergunte ao time quanto a IA o deixa mais rápido. Meça as mesmas tarefas com a sua própria telemetria. O tamanho e a direção do descompasso são a sua versão local dos 39 pontos da METR, e dizem com precisão quanto descontar do autorrelato no próximo ciclo de planejamento.

Quando a sua telemetria e a sua pesquisa concordam, você aprendeu que o canal de sentimento está calibrado, o que vale saber. Quando discordam, acredite no instrumento que cronometrou o trabalho e vá descobrir por que as pessoas que fazem o trabalho ainda não conseguem sentir isso. Todos os estudos acima convergem para o mesmo aviso: quando o sentimento alcança o fato, a janela de decisão já fechou.

Fontes

Faros AI. “AI Engineering Report 2026: The Acceleration Whiplash.” Abril de 2026.
METR. “Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity.” Julho de 2025.
DORA / Google Cloud. “State of AI-assisted Software Development.” Setembro de 2025.
Stack Overflow. “Developer Survey 2025: AI.” Julho de 2025.

A Victorino ajuda times a construir instrumentação de entrega própria, para que decisões sobre IA repousem em resultados medidos e não em sentimento invertido: contato@victorino.com.br | www.victorino.com.br