A Edição de Harness Que Vence Seu Conjunto de Avaliação Não É a Que Melhor Generaliza

O Meta-Harness elevou sua pontuação no conjunto de evolução de 89,4 para 93,0. Em benchmarks fora desse conjunto, passou de 39,7 para 40,6. O RRSI, método descrito em um preprint recente (arXiv 2609.24972), quase não se mexeu no conjunto de evolução: 90,5. Nos conjuntos externos chegou a 43,6, o maior valor entre as seis linhas da tabela comparativa.

Essa tabela é a coisa mais útil que li este mês para times que deixam um agente reescrever o próprio harness. Nos cenários que esse preprint estuda, o harness em volta de um modelo é algo que um loop consegue editar, pontuar e manter. A tabela mostra o que acontece quando o loop se pontua contra o mesmo conjunto com que aprende.

As seis linhas

O preprint compara um harness inicial (H0) com cinco métodos de evolução. Cada linha traz dois números: a média no conjunto de evolução Harvey LAB e a média em conjuntos fora da distribuição.

Método	Conjunto de evolução	Fora do conjunto
H0 (harness inicial)	89,4	39,7
Meta-Harness	93,0	40,6
AHE	90,7	39,2
TTHE	91,1	38,0
HarnessX	91,8	39,7
RRSI	90,5	43,6

Comece pela coluna da direita. AHE e TTHE terminam abaixo do harness de onde partiram. O HarnessX empata. O Meta-Harness, o mais forte dentro do conjunto, ganha menos de um ponto. Três dos outros quatro métodos melhoraram aquilo em que eram pontuados e não melhoraram, ou pioraram, aquilo em que não eram.

O RRSI inverte a ordem. Seus 90,5 no conjunto de evolução representam o menor ganho sobre os 89,4 do H0 entre os cinco métodos. Fora do conjunto, seus 43,6 contra os 39,7 do H0 representam o maior ganho.

Duas ressalvas precisam acompanhar esse resultado na mesma frase. Os conjuntos fora da distribuição são benchmarks diferentes no mesmo domínio, então “fora do conjunto” aqui significa trabalho vizinho. E os hiperparâmetros do método foram ajustados no conjunto de evolução, o que quer dizer que parte da informação desse conjunto chegou ao RRSI por uma porta lateral. O preprint não passou por revisão por pares. A página principal lista 14 autores sem afiliação, então atribuo o trabalho aos autores e a mais ninguém.

Um texto secundário no StackSweep dá a proporção: “The absolute out-of-distribution gains are modest: 1.8 to 4.7 points.” Essa faixa é o resumo do StackSweep, e não consigo associá-la a linhas específicas da tabela acima. Modesto é a palavra certa. O que importa para quem roda um loop de autoaperfeiçoamento em produção é a direção.

Por que o loop sobreajusta

O mecanismo dispensa explicação exótica. O StackSweep o resume em uma linha: “if you score candidates against the same finite set every round, you are training on your test set.” Ou seja, pontuar candidatos contra o mesmo conjunto finito a cada rodada equivale a treinar no próprio conjunto de teste.

Uma edição de harness é mantida porque subiu a pontuação. Depois de rodadas suficientes, as edições que sobrevivem são as que se encaixam nas manias daquele conjunto específico: a redação, os casos de borda, o ruído. Cada edição isolada parece progresso. O harness acumulado vira uma chave lixada para uma fechadura só.

A página do RRSI resume a resposta como “Regularize the search, not the harness”. A restrição fica no loop que propõe e aceita edições. Para um time, esse enquadramento pesa porque é no loop que mora o controle de mudanças. Num loop que roda sozinho, você não revisa à mão cada edição aceita. Revisa a regra que a deixou entrar.

Quatro regras para o loop

O StackSweep condensa a abordagem em três instruções: medir o ruído da avaliação antes de começar, fazer cada edição pagar pelo próprio custo e apagar o que deixou de justificar seu lugar. Eu acrescento uma quarta, por minha conta: impedir que edições com vazamento sejam pontuadas. Trato as quatro como regras de controle de mudanças para qualquer harness que se aperfeiçoa sozinho. Os detalhes de implementação pertencem ao preprint. O que segue é minha leitura de cada regra como política.

1. Meça o ruído antes da primeira edição. Se o mesmo harness pontua diferente em execuções repetidas, uma edição cujo ganho cai dentro dessa variação não provou nada. Sem medir o ruído, o loop mantém edições sortudas e descarta as azaradas, e as duas decisões ficam registradas como evidência.

2. Tire da pontuação as edições com vazamento. Uma edição que leva para o harness informação sobre o conjunto de avaliação vai pontuar bem pelo motivo errado. A regra é impedir que ela ganhe crédito já na pontuação.

3. Faça cada edição pagar pelo próprio custo. Harness que cresce não sai de graça. O StackSweep relata que o RRSI usou “2.42M policy tokens per trial vs. 3.80M for unregularized evolution (36% fewer)”, ou seja, 36% menos tokens de política por tentativa. O número vem apenas do texto secundário, então trate como relatado. O ponto de política se sustenta sozinho: uma edição que adiciona custo precisa superar uma barra mais alta do que uma edição de custo neutro.

4. Apague o que deixou de justificar seu lugar. Loops de autoaperfeiçoamento acumulam. Uma regra que ajudou no começo pode virar peso morto muitas rodadas depois. A poda precisa ser uma operação agendada do loop, com a mesma disciplina de pontuação das adições.

Já tratamos da mecânica de construir agentes autoaperfeiçoantes e das questões de supervisão em torno da melhoria recursiva em escala de laboratório. Nenhum dos dois textos mediu sobreajuste ao conjunto de evolução. Estas quatro regras ficam entre eles: a disciplina que decide se uma edição entra no harness.

A mesma exposição, uma camada abaixo

A Datadog publicou uma destilação que fica ao lado desse problema. Scott Kramer e Junaid Ahmed descrevem como ensinaram um modelo de 9B a investigar alertas de produção, treinado com 186 exemplos. O modelo resultante atingiu 87% do recall do GLM-5.3, com custo de serviço auto-hospedado de US$ 0,003 por investigação, contra US$ 0,06. Isso é cerca de 20 vezes mais barato, uma comparação que a Datadog restringe às condições de implantação que avaliou.

Eles também escrevem que engenharia de prompt sozinha não bastou para tornar o modelo menor confiável.

O detalhe que conecta com o RRSI é a origem dos rótulos. A Datadog trata cada mudança referenciada como um rótulo substituto: a mudança que o Bits associou ao incidente, sem verificação independente de causalidade. Os alvos de treino são as conclusões do próprio agente da Datadog, o Bits.

Não estou afirmando que isso causou uma falha. Minha leitura é que a exposição é estrutural. Quando os rótulos são as saídas passadas do seu agente, o aluno aprende a concordar com o professor, e concordância com o professor é também o que sua avaliação mede com mais facilidade. É o mesmo círculo fechado em que o loop do harness roda: o sistema é pontuado contra material que ajudou a produzir. A Datadog nomeia o limite abertamente, e essa é a parte que vale copiar.

O que a tabela não diz

Seis números por coluna, um domínio, um preprint. Os ganhos fora do conjunto são pequenos em termos absolutos, e o ajuste dos hiperparâmetros do RRSI no conjunto de evolução enfraquece a leitura mais limpa da sua liderança. Eu não escolheria um método de evolução de harness com base nessa tabela.

Eu mudaria a forma de governar um. O padrão na coluna da direita não depende de o RRSI ser o melhor método. Depende da observação de que a maioria dos ganhos dentro do conjunto, naquela tabela, não se transferiu. Se o seu time roda qualquer loop que mantém edições de harness porque uma pontuação subiu, ele está exposto ao mesmo padrão, tenha ou não lido o preprint.

Nosso texto anterior sobre governança de agentes auto-aprendizes é o quadro mais amplo. Neste caso a conclusão prática é estreita: o conjunto de avaliação faz parte da superfície de controle e precisa da mesma rotação e proteção de qualquer outra.

Faça isto agora

Escolha um loop de autoaperfeiçoamento que você roda, seja de prompts, skills, regras de memória ou configuração de ferramentas.

Rode o harness atual várias vezes no conjunto de avaliação, sem mudanças. Registre a variação. Toda edição aceita cujo ganho caia dentro dessa variação volta para novo teste.
Separe um conjunto que o loop nunca vê, de trabalho vizinho mas diferente. Reporte os dois números em toda edição aceita, lado a lado, como faz a tabela do RRSI.
Associe um custo a cada edição: tokens, latência ou tamanho de contexto. Rejeite edições que aumentam custo sem ganho fora do conjunto.
Agende uma poda. Remova cada regra por vez e pontue de novo. Regras que já não movem o número fora do conjunto saem.
Audite seus rótulos. Se os alvos de avaliação ou de treino vêm das saídas do seu próprio agente, escreva isso ao lado da métrica, como a Datadog fez.

Se a pontuação dentro do conjunto sobe enquanto a de fora fica parada, o loop está aprendendo o seu teste.

Fontes

RRSI authors (arXiv 2609.24972). “RRSI: Regularized Recursive Self-Improvement of Agent Harnesses.” Setembro de 2026.
StackSweep (Engineer’s Codex). “Self-improving agent harnesses overfit. How Google fixes it.” Sem data.
Datadog. “Teaching a 9B model to investigate production alerts.” Setembro de 2026.

A Victorino ajuda times de engenharia a colocar controle de mudanças em loops de agentes que se aperfeiçoam sozinhos, do ruído da avaliação ao conjunto separado: contato@victorino.com.br | www.victorino.com.br