A Expo Mediu Quantas Sessões Carregam Suas Skills. Antes de Uma Correção, Eram 9%.

Nas execuções de referência da Expo, 9% das sessões de agente carregaram alguma skill da Expo. A página arredonda esse número para 10% em dois trechos, um título e uma frase do corpo, e informa 9% em outros dois, incluindo o quadro de conclusões. Depois que a Expo adicionou uma única skill de ponto de entrada, chamada expo-overview, 55% das sessões passaram a carregar uma ou mais skills subordinadas.

Isso é um achado de governança. Nos times com que trabalho, o arquivo de skill costuma ser onde se registra uma regra para o agente, e uma regra escrita em arquivo é tratada como controle. A medição da Expo mostra com que frequência uma skill esteve ausente da execução para a qual foi escrita.

O texto da Expo resume em uma frase: “If a skill never enters the agent’s context, the quality of the instructions inside it does not matter for that run.”

O Que a Expo Mediu de Fato

O experimento, publicado em 8 de outubro de 2026 por Aditya Shukla, do Georgian AI Lab, e coautores da Expo e do Georgian AI Lab, foi pequeno e específico. Claude Code rodando sonnet-5-high. Dez PRDs de aplicativos móveis criados do zero. Três execuções de cada, antes e depois da inclusão do expo-overview.

Saem dois achados daí, e um terceiro de um teste separado.

O primeiro é a taxa de carregamento. Sem o ponto de entrada, os agentes trabalharam quase sempre sem as skills da Expo. Com ele, a maioria das sessões puxou pelo menos uma skill subordinada. Os 55% contam qualquer skill que não seja o ponto de entrada. O número mostra que o agente abriu uma porta, e nada diz sobre a porta certa.

O segundo achado mede exatamente isso. A Expo chama de Relevant Skill Recall. O indicador “rose from 2% to 18%, but remained incomplete”. O ponto de entrada ajudou sobre uma base pequena, e a maior parte das skills relevantes continuou na prateleira.

O terceiro vem de outro ambiente. As execuções dos dez PRDs usaram “a clean environment with only the Expo plugin installed.” O teste de corte usou “one test environment with 175 skills installed, including 24 from the Expo plugin … only the first 60 or so characters of each description were visible.” O agente escolhe qual skill carregar a partir de um catálogo de descrições. Na versão do Codex que a Expo inspecionou, o catálogo tem um orçamento fixo, e “when the full skill catalog exceeded the allowance of 5.4k tokens, Codex started by shortening skill descriptions.” O que a descrição diz depois do corte, o agente nunca lê antes de decidir.

A própria Expo define o resultado como “an initial signal from a handful of datapoints.” Vale como medição inicial. Basta para mudar o que você observa e é pequena demais para servir de benchmark.

O Controle Escrito e o Controle Que Rodou

Nas revisões que vejo, arquivos de skill são auditados como documentos de política. Alguém lê o texto, confere se diz a coisa certa e aprova o pull request. Essa revisão responde a uma pergunta: se o agente ler isto, vai se comportar corretamente?

Fica de fora uma pergunta anterior. O agente leu?

Uma regra de segurança numa skill carregada em 9% das sessões está ausente da maioria delas. Revisar a redação com mais cuidado deixa esse número onde estava. O controle existe no repositório e falta em tempo de execução, e uma revisão só do texto não expõe a diferença.

Já tratamos do território vizinho. Contexto passivo no AGENTS.md é uma resposta ao problema de descoberta, e o que centenas de skills em produção ensinam trata do que vai dentro de uma skill depois que ela carrega. A contribuição da Expo é mais estreita e mais útil para quem opera: trata a descoberta como uma grandeza que se mede, se altera e se mede de novo.

Os Primeiros 60 Caracteres São a Interface

O achado do corte merece atenção própria, porque muda a forma de escrever descrições de skill.

Se só os primeiros 60 caracteres, mais ou menos, aparecem num catálogo lotado, esses caracteres, junto com o nome da skill, são toda a interface entre a skill e a decisão do agente de carregá-la. Uma descrição que começa com contexto, nome de produto ou um resumo educado gasta o espaço visível com palavras que não ajudam o agente a associar a skill à tarefa.

A Expo observou o limite em um ambiente de teste. Outros catálogos, outros harnesses e outras quantidades de skills podem cortar em outro ponto. Em harnesses que reservam um orçamento fixo para o catálogo, como a versão do Codex que a Expo inspecionou, quanto mais skills instaladas, menos de cada descrição chega à visão do agente.

Disso saem duas consequências práticas. Coloque o gatilho primeiro: a tarefa ou situação que deveria provocar o carregamento, com as palavras que um pedido usaria. E conte as skills instaladas, porque, nesse tipo de harness, cada plugin adicionado pode encurtar a descrição visível das skills que você já tem. Um time que instala um plugin grande pode encurtar o que o agente vê das próprias skills internas sem tocar nelas, e a Expo ainda não mediu o efeito disso na descoberta.

Isso também pesa sobre skills escritas em vários idiomas. Se a janela visível é curta, minha expectativa é que o idioma desses primeiros caracteres influencie a associação.

Texto de Instrução Também Apodrece

Carregar é metade do problema. A outra metade é o que se carrega.

Num texto publicado em 9 de outubro de 2026, a Cockroach Labs relata uma auditoria de julho dos arquivos de skill do seu fluxo com agentes: 25 arquivos de skill que somavam pouco mais de 100.000 palavras. Cerca de 23.000 dessas palavras, aproximadamente 23%, foram marcadas como removíveis.

Minha leitura dos dois números é que texto de instrução tende a crescer por acúmulo. Um incidente acrescenta um parágrafo, um caso de borda acrescenta uma regra, e remover pode parecer enfraquecer um controle. A auditoria da Cockroach mostra o tamanho do texto removível quando alguém vai procurar. Arquivos longos custam tokens a cada carga, e descrições longas arriscam o corte num catálogo lotado.

Uma frase removível custa mais do que os tokens que consome. Ela dilui as instruções que importam depois que a skill é carregada e, no campo de descrição, pode empurrar as palavras úteis para depois do corte.

Taxa de Carregamento Como Métrica de Governança

O movimento de governança aqui é tratar a taxa de carregamento como métrica de primeira classe, reportada junto com a própria skill.

Para cada skill que codifica uma regra da qual você depende, deveria ser possível responder com que frequência ela entrou no contexto do agente nas sessões em que se aplicava. Se o seu harness guarda registros de quais skills cada sessão carregou, o trabalho é agregá-los e definir uma expectativa. Se não guarda, essa instrumentação vem primeiro.

Com a taxa de carregamento virando número, três práticas ficam possíveis.

Condicione mudanças de skill a um teste no CI. Mudar o nome ou a descrição de uma skill muda a chance de ela ser carregada. Rode um conjunto fixo de tarefas representativas antes e depois, e reprove a mudança se a taxa de carregamento ou o recall relevante cair. O método da Expo, dez PRDs com três execuções cada, gerou um sinal inicial com um harness modesto.

Teste com um catálogo realista. O baseline de 9% da Expo saiu de um ambiente limpo, só com o plugin dela. Um catálogo lotado soma o corte a isso, então teste com o conjunto completo de plugins e skills internas que seus times de fato instalam.

Faça poda periódica. A auditoria da Cockroach marcou cerca de 23% do texto de instrução como removível. Torne essa revisão periódica. Arquivos mais curtos custam menos tokens por carga e diluem menos as regras que importam, e descrições mais curtas põem o gatilho dentro da janela visível.

Faça Isto Agora

Escolha as três skills do seu ambiente que carregam regras cuja violação deixaria você desconfortável: uma restrição de segurança, uma regra de tratamento de dados, um passo de release.

Para cada uma, pegue o último lote de registros de sessões em que a skill deveria ter sido aplicada e conte quantas a carregaram. Se você não consegue produzir essa contagem, a primeira tarefa é instrumentá-la. Se a contagem for baixa, reescreva as primeiras palavras da descrição para que nomeiem o gatilho e meça de novo com o catálogo completo instalado.

Depois, inclua a medição no template de pull request para mudanças de skill, para que toda edição de nome ou descrição chegue com a taxa de carregamento anexada.

Fontes

Expo e Georgian AI Lab. “Your skills need an evaluation mechanism.” Outubro de 2026.
Cockroach Labs. “Five months treating bugs like patients and coding agents like a medical team.” Outubro de 2026.

A Victorino ajuda times de engenharia a medir se as regras dos seus agentes de fato carregam e a bloquear mudanças de skill antes que cheguem à produção: contato@victorino.com.br | www.victorino.com.br