As Quatro Formas de Medir uma Alegação de Produtividade com IA, e Por Que Três Falham

A Figma reuniu 100 pessoas, entregou uma ferramenta de IA para metade delas, não entregou nada para a outra metade e mediu quanto tempo levavam três tarefas padronizadas de design. No agregado, o trabalho de design ficou 20% mais rápido e 16% mais fácil com o Figma Make. O resultado que deveria parar uma reunião de liderança está na quebra por papel: os product managers viram as tarefas ficarem 23% mais rápidas e 37% mais fáceis, um ganho maior que o dos designers. No resumo da própria Figma, um product manager usando Make foi quase tão eficiente quanto um product designer que não usou Make.

Essa direção contraria o que quase todo plano de adoção assume. Os rollouts começam pelos especialistas, porque a ferramenta fala a língua deles. O ensaio diz que a hora marginal cai em outro lugar.

O que torna o achado digno de um artigo é que nenhum outro instrumento de medição disponível para uma organização de engenharia normal teria produzido esse resultado. Quando o conselho pede prova de que uma compra de IA economizou tempo, você tem quatro instrumentos à disposição. Três quebram no contato com a pergunta.

Instrumento 1: o teste A/B online

É o reflexo padrão, porque os times de produto já têm a infraestrutura. Divide os usuários, entrega a funcionalidade a um grupo, compara métricas agregadas.

A condição desqualificadora: um assistente de IA se espalha para fora do raio de impacto que você imagina estar testando. Um designer com Make em um grupo colabora com um PM do outro grupo, reaproveita artefatos produzidos com a ferramenta e muda a forma como dimensiona o trabalho antes mesmo de abrir a ferramenta. O tratamento vaza. Métricas agregadas de tempo de ciclo também se movem por uma dúzia de razões alheias em qualquer trimestre, e um teste online deixa a dificuldade da tarefa correr solta. O que você mede é o trimestre.

Instrumento 2: pareamento por escore de propensão

O plano B observacional. Encontre quem adotou a ferramenta, encontre pessoas parecidas que não adotaram, pareie estatisticamente pelas características observáveis e compare os resultados.

A condição desqualificadora está enunciada dentro do próprio método: o PSM assume que não existem confundidores não observados. Toda variável que empurra tanto a adoção quanto o desempenho precisa já estar nos seus logs. Pense em quem adota uma ferramenta de IA primeiro na sua empresa. São as pessoas com folga na semana, maior fluência de ferramental na largada, menos código legado a respeitar e um gestor que tolera experimento. Sua telemetria carece de coluna para qualquer um desses. Você vai parear por tempo de casa, time e cargo, declarar os grupos comparáveis e medir o traço de personalidade que gerou a adoção lá atrás.

Instrumento 3: variáveis instrumentais

A saída de emergência da econometria. Encontre uma variável que empurre as pessoas para a adoção sem ter efeito direto sobre o resultado, e use isso para isolar a causalidade.

A condição desqualificadora é a disponibilidade. Um instrumento válido precisa ser genuinamente equivalente a sorteio em relação à produtividade, e dados de log não contêm nenhum. O candidato de sempre é o rollout escalonado de licenças, e ele falha de imediato: a ordem de rollout dentro de uma empresa é decidida exatamente pelos fatores que predizem desempenho. Variação regional ou por custo de assento se contamina do mesmo jeito. Times que saem caçando um instrumento nos dados existentes acabam defendendo o instrumento em vez do achado.

Instrumento 4: o ensaio controlado randomizado

Sobra uma opção, e é justamente a que as pessoas pulam por parecer acadêmica e cara. A versão da Figma cabe em um parágrafo.

O desenho foi pequeno e específico. 100 participantes, 50 product designers e 50 product managers. O grupo de tratamento recebeu o Make. O grupo de controle ficou sem qualquer ferramenta de IA, que é a comparação com a qual um conselho se importa de verdade. Três tarefas padronizadas: converter uma interface para dark mode, adicionar uma opção a um menu de configurações e construir um fly-up de comentários.

A engenharia interessante está no controle de confundidores. A Figma redesenhou as tarefas três vezes depois de pilotos internos para chegar a uma dificuldade comparável entre os dois papéis, porque uma tarefa trivial para o designer e impossível para o PM produz efeito de papel disfarçado de efeito de ferramenta. Os moderadores seguiram um roteiro comum e um guia compartilhado de troubleshooting, para que a qualidade da moderação não virasse a variável em teste. A análise combinou teste de hipóteses com regressão OLS. Apoiada nesse desenho, a Figma afirma diretamente que o Make causa as melhorias que ela mediu.

Os números publicados na íntegra: redução de 20% no tempo acumulado até a conclusão da tarefa, melhora de 16% na facilidade da tarefa e melhora de 15% na usabilidade percebida da Figma. Para os PMs especificamente, 23% mais rápido e 37% mais fácil.

O que os instrumentos fracos teriam escondido

Rode a mesma pergunta por um PSM e imagine a saída. Os designers adotam o Make primeiro, porque ele vive dentro de uma ferramenta que já usam oito horas por dia. Os PMs adotam tarde e de forma esparsa. Sua comparação pareada é construída quase inteiramente com designers, e o efeito nos PMs, o maior do estudo, nunca aparece no resultado. Você teria reportado um número real de 20% grudado em uma orientação completamente errada sobre onde gastar o próximo orçamento de licenças.

O ensaio também expôs uma segunda inversão que vale roubar. Os designers ganharam na tarefa mais difícil. Os PMs ganharam nas duas mais fáceis. Qualquer plano de rollout construído sobre a premissa de que IA compensa mais no trabalho difícil alocaria assentos na direção errada para metade da população.

Diga o conflito em voz alta

A Figma estudou o produto da Figma e publicou o resultado no blog da Figma. O conflito de interesse é real, não foi mitigado e não desaparece porque o método é bom. A página pública sai sem tabela de resultados. Os números citados acima são toda a superfície numérica pública, com o detalhe atrás de um relatório com cadastro.

Isso é razão para tratar os tamanhos de efeito como direcionais em vez de portáveis, e é exatamente por isso que aqui o método pesa mais que o número. Você não consegue verificar os 20% da Figma. Consegue copiar o desenho que os produziu e gerar os seus.

Já fizemos o mesmo argumento sobre a alegação de 80% do código da Anthropic e sobre quanto custa de fato uma tarefa concluída. O padrão se repete: o número do fornecedor é infalsificável de fora, e o único ativo durável é o desenho de medição. Os números de adoção da própria Figma já foram cobertos em o texto sobre o ponto de virada do design. Este aqui trata do instrumento.

Empreste o tamanho de efeito, depois dimensione o ensaio

Um detalhe do texto da Figma é a coisa mais barata de copiar e a mais frequentemente pulada. O tamanho da amostra veio de uma análise de poder estatístico usando os tamanhos de efeito reportados nos ensaios randomizados publicados sobre o GitHub Copilot (arXiv 2302.06590).

Você não precisa de um piloto para saber qual deve ser o tamanho do seu estudo. Alguém já rodou um ensaio randomizado com uma ferramenta comparável de código ou design com IA e publicou o tamanho do efeito. Jogue isso em um cálculo de poder e ele devolve o número de participantes. Para um efeito interno dessa magnitude, 100 pessoas deram à Figma um resultado ao qual ela se dispôs a acoplar uma afirmação causal. A maioria das empresas assume que um ensaio confiável exige milhares. Ele exige um desenho defensável e duas tardes de agendamento.

Faça isto agora

Escolha a alegação de produtividade com IA que circula mais alto na sua empresa hoje, aquela que já está dentro de um deck de orçamento. Escreva qual dos quatro instrumentos a produziu. Se a resposta for “dashboards de adoção” ou “uma pesquisa sobre quanto tempo as pessoas sentem que economizaram”, aquilo não é evidência e não deveria estar no deck.

Depois dimensione o menor ensaio capaz de falsificá-la. Duas tarefas padronizadas bastam. Trinta pessoas por braço como ponto de partida, ajustado por uma análise de poder emprestada de um RCT publicado sobre ferramenta parecida. O braço de controle fica sem ferramenta de IA. Fixe as tarefas pilotando até que as duas populações as achem comparavelmente difíceis. Registre a direção de efeito que você prevê antes da primeira sessão, porque o valor que a Figma extraiu veio de a previsão estar errada.

Reserve uma semana. A saída é um número que o seu CFO consegue defender e uma ordem de rollout que não se apoia em um palpite sobre quem se beneficia.

---

Fontes

• Figma (Remy Stewart). “Measuring time savings from Figma Make.” Agosto de 2026.

A Victorino desenha e conduz ensaios de medição que transformam alegações de produtividade com IA em números que um conselho consegue defender: contato@victorino.com.br | www.victorino.com.br