Um Fornecedor Publicou um Benchmark que Não Lidera. Veja o que o Comprador Pode Ler.

No snapshot de 29 de setembro do próprio relatório, a Gorgias aparece em segundo lugar na faixa de suporte e em terceiro na pré-venda. A Gorgias opera esse relatório. Ela também escreveu a rubrica, escolheu os pesos e publica o benchmark em um repositório público.

O patrocinador não está em primeiro aqui, então a pergunta útil é o que o desenho permite ao comprador ler. Lemos o repositório, o relatório e o estudo de caso do SaaStr que motivou este texto. O que segue é a nossa leitura deles, inclusive de onde o desenho termina.

O que o benchmark mede

O repositório descreve conversas temáticas de 10 turnos em duas faixas: um Shopping Assistant para pré-venda e um Support AI Agent. Cada execução recebe nota de taxa de automação, qualidade da resposta de 0 a 100 (dada por um LLM juiz), latência e um composto dos três.

A página do relatório tem o título “Ecommerce AI Agent Benchmark | Gorgias”. Quando a coletamos, em 29 de setembro, havia 18 fornecedores selecionáveis, dos quais 13 ranqueados por faixa. Ou seja, 18 acompanhados, 13 ranqueados. Foram medidas 208 lojas, de 276 visadas.

Os pesos do composto mudam por faixa. Compras usa 40% de automação, 35% de qualidade e 25% de velocidade. Suporte usa 50/40/10, e o repositório registra que os pesos de suporte foram reajustados em 3 de setembro de 2026. A velocidade vale 100 com 3 segundos ou menos e 0 com 22 segundos ou mais.

Onde a Gorgias cai

Todos os números abaixo são o snapshot de 29 de setembro, em janela de 90 dias. O relatório atualiza toda semana, então uma leitura posterior pode diferir.

Na pré-venda, a Envive lidera com composto 72, a Sierra fica em segundo e a Gorgias em terceiro, com 63 (mais ou menos 2,5).

No suporte, a Decagon mostra 77 com intervalo de mais ou menos 9,9, sobre 34 conversas. A Gorgias mostra 68, mais ou menos 4,3, sobre 385 conversas. A Yuma mostra 67, mais ou menos 15,1, sobre 118 conversas. Só na automação de suporte, a Yuma tem 71% contra 68% da Gorgias.

Leia os intervalos antes das posições. A liderança da Decagon no suporte se apoia em 34 conversas e em um intervalo largo o bastante para engolir os 9 pontos de vantagem sobre a Gorgias. O intervalo da Yuma é ainda maior. O relatório imprime esses números ao lado do composto, então o leitor vê o quanto cada posição é firme. Uma posição sem intervalo esconderia isso.

O desenho da divulgação

Nossa leitura do repositório e do relatório resulta em seis características. A lista é nossa.

• Rubrica versionada. A rubrica v2.3 está no repositório. O PDF da rubrica no site fica atrás de um formulário, então a cópia do repositório é a que o leitor inspeciona sem cadastro.
• Juiz com evidência obrigatória. O juiz usa verificações binárias, e eles exigem citação como evidência, e o código confere cada citação contra a transcrição.
• Lotes cegos. A identidade do fornecedor e da loja é removida antes do julgamento.
• Uma segunda passada adversarial. Ela audita uma amostra de vereditos, não todas as conversas, e marca uma execução como confiável com 90% de concordância ou mais.
• Um piso de ranqueamento. Um fornecedor só entra no ranking com nota de qualidade julgada e ao menos 15 conversas na faixa.
• Mudança de pesos datada. O reajuste de suporte de 3 de setembro está registrado, então dá para separar uma variação de posição de uma variação de regra.

Dois detalhes importam para ler os números. A captura é diária, o ranking usa janela móvel de 90 dias e o gráfico de tendência tem um ponto por semana. E os números de latência são descritos como “direcionais”. Na nossa segunda leitura, o relatório diz que fornecedores abaixo do seu piso de cobertura não são ranqueados em velocidade. Nossa leitura é que isso pode fazer os fornecedores ranqueados parecerem mais rápidos do que o mercado. Não confirmamos que o piso de cobertura seja igual ao piso de 15 conversas.

Este último item é o mais útil do conjunto. Um benchmark que nomeia sua regra de cobertura para velocidade permite ao comprador aplicar uma correção, na nossa leitura.

O que o desenho não resolve

O texto de Jason Lemkin, no SaaStr, é direto sobre o limite. Ele escreve: “Will there always be some bias? Yes. You wrote the rubric, picked the weights, and chose what to measure. Say that on the first page.” Ele também escreve que o SaaStrFund, o fundo do autor do estudo de caso, liderou a rodada seed da Gorgias. Registramos os dois fatos sem rodeio, porque quem pesa este benchmark precisa deles.

Nossa leitura acrescenta mais um. As páginas que lemos não indicam auditoria de terceiros sobre a rubrica, os pesos, o prompt do juiz ou a seleção de lojas. A Gorgias controla os quatro. O repositório mostra último commit em 27 de setembro de 2026 e nenhum arquivo LICENSE que tenhamos encontrado, por isso dizemos repositório público e evitamos dizer código aberto.

Não afirmamos que o juiz seja imparcial nem que o ranking seja justo. A evidência sustenta algo mais estreito: a rubrica, os pesos, o piso de ranqueamento e a mudança datada de pesos estão escritos no repositório, então o comprador pode discutir um peso específico.

Um cuidado com a cobertura secundária. Na nossa segunda leitura, o texto do SaaStr difere do relatório na posição da Gorgias em suporte e no composto de pré-venda, deixa um marcador sem preencher no texto publicado e mistura 18 e 13 fornecedores. Como o relatório atualiza toda semana, parte das diferenças pode ser variação de snapshot. Não conseguimos distinguir. Por isso citamos números do próprio relatório e nenhum do estudo de caso. Lemkin também afirma que agentes de compradores estão começando a montar listas de fornecedores. É afirmação dele. Para evidência sobre como agentes escolhem entre fornecedores, veja nossa análise sobre os 42% de concordância.

Faça isto agora

Pegue o benchmark de fornecedor em que seu time mais se apoia e passe a lista por ele. Dê a cada item um sim, um não ou um desconhecido:

1. A rubrica está versionada em um lugar que se lê sem formulário?
2. O juiz cita evidência que o código confere contra a transcrição?
3. A identidade do fornecedor fica oculta do juiz?
4. Existe um piso de ranqueamento, e ele está declarado?
5. Há intervalos impressos ao lado de cada composto?
6. As mudanças de peso têm data?
7. O texto diz quem escolheu a rubrica, os pesos e a amostra, e se alguém de fora os auditou?

Todo desconhecido vira uma pergunta por escrito ao fornecedor. Um benchmark que responde às sete perguntas ainda pode ser autoexecutado. Se for, trate-o como uma alegação bem documentada de uma parte interessada e pese-o assim. Para leitura relacionada, veja como minerar sua fila de merge para montar um benchmark e o viés de fornecedor nas métricas de produtividade.

---

Fontes

• SaaStr (Jason Lemkin). “Everyone Should Publish the Deepest, Most Direct Competitive Evals They Can. Case Study: $100m ARR Gorgias for AI CX.” Setembro de 2026.
• Gorgias. “gorgias/ai-agent-benchmark.” Setembro de 2026.
• Gorgias. “Ecommerce AI Agent Benchmark | Gorgias.” Setembro de 2026.

A Victorino ajuda times a montar uma lista de avaliação de fornecedores e a aplicá-la antes da decisão de compra: contato@victorino.com.br | www.victorino.com.br