Harness, Loop, Ops, Eval: Quatro Jargões, Uma Camada de Controle

Um modelo de fronteira leu a maior parte do que a humanidade já publicou. Não leu nada do seu CRM, nada do seu histórico de incidentes e nada sobre o cliente que reclamou na terça-feira passada. Tudo o que fecha essa distância, e tudo o que torna um agente seguro para apontar contra sistemas de produção, vive fora do modelo. O walkthrough de 19 minutos de Sean Chen no canal Sean’s AI Stories, publicado em junho de 2026, é o tour mais compacto dessa camada externa que vi este ano. Ele também resolve um problema de vocabulário: harness de agentes, engenharia de loop, LLM Ops e eval descrevem um único sistema, visto de quatro ângulos.

Se o seu time usa esses quatro termos como se fossem quatro projetos separados, este texto é o mapa que os une.

Um cavalo que só se guia por fora

Chen abre com uma metáfora que se paga. O LLM é um cavalo poderoso. O harness, o arreio, é o conjunto de ferramentas que permite cavalgá-lo na direção certa em vez de se machucar. A metáfora funciona porque parte da premissa técnica correta: um LLM prevê a probabilidade do próximo token. A aleatoriedade é intrínseca ao seu funcionamento. Nenhum prompt melhor a remove. O controle precisa ser engenheirado ao redor dela.

Essa engenharia é o harness. No enquadramento do vídeo, ele tem três partes estruturais: memória, recuperação e ferramentas. Cada uma existe para compensar algo que falta estruturalmente ao modelo, e cada uma é uma decisão de projeto que pertence ao seu time.

Três memórias, um portão de consolidação

O modelo de memória que Chen apresenta é uma tríade que vale adotar como vocabulário compartilhado.

Memória procedural são instruções e habilidades: como o agente deve agir, tipicamente arquivos markdown que viajam com o agente. Memória semântica são fatos duráveis sobre você e o seu negócio, coisas que nenhum treinamento jamais viu. Memória episódica é a série temporal de eventos e conversas passadas, o registro bruto do que de fato aconteceu.

O problema de engenharia interessante é a relação entre as duas últimas. O histórico episódico cresce sem limite. Deixado sozinho, vira uma gaveta de bagunça cara que nenhuma janela de contexto comporta. O padrão de Chen: colocar um portão de consolidação sobre ele. Depois de um certo limiar, o exemplo dele é a cada aproximadamente 2.000 conversas, o histórico acumulado é entregue a um agente sumarizador que o destila em fatos de memória semântica. O detalhe elegante é que o sumarizador é, ele mesmo, outro LLM com harness, e pode rodar em um modelo mais barato, porque sumarização tolera um cavalo mais fraco do que uma ação diante do cliente tolera.

Isso é memória como pipeline governado, com uma etapa de promoção. E alguém precisa projetá-la.

A recuperação se divide pela forma da pergunta

A seção de recuperação do vídeo faz uma distinção que os times costumam borrar. Algumas consultas episódicas são limitadas no tempo: “as últimas 10 conversas com este cliente”. Isso é uma consulta SQL, e fingir o contrário adiciona custo e subtrai precisão. Outras consultas são baseadas em significado: “as 20 conversas em que uma reclamação ficou sem resolução”. Nenhuma cláusula WHERE expressa “frustração não resolvida”, então esse caminho exige busca semântica, RAG em cima do mesmo substrato SQL.

Um armazenamento, dois caminhos de acesso, escolhidos pela forma da pergunta. Times que roteiam tudo por embeddings pagam por imprecisão em consultas que um índice de banco de dados responderia com exatidão.

O loop é uma decisão de arquitetura

Engenharia de loop soa como preocupação de runtime. Segundo o vídeo, ela é parte do harness: a decisão arquitetural de quando o suficientemente bom é suficiente para parar e responder. Chen chama essa fronteira de end-loop guardrails, a definição explícita do cenário de encerramento.

O exemplo dele é o que vale roubar. Um agente investigando um problema de cobrança encontra oito clientes afetados. O loop termina com um relatório nomeando os oito, ou continua até emitir os reembolsos? São raios de dano completamente diferentes, e o agente não deveria decidir sozinho. A recomendação de Chen é que o agente confirme o ponto de parada com o usuário durante o planejamento, antes de o loop começar a rodar.

O modo de falha do outro lado é mais silencioso. Um loop que trava esperando permissão queima tempo de relógio em silêncio. A correção concreta de Chen é um hook do Claude Code que dispara uma notificação de desktop sempre que o agente bloqueia aguardando aprovação, para que uma execução travada custe segundos de atenção em vez de 25 minutos despercebidos. Já argumentamos que hooks e avaliações formam a casca determinística ao redor de um núcleo probabilístico; o hook de notificação de Chen é essa tese encolhida em um reflexo prático.

Rastrear, avaliar, diagnosticar, decidir

O último segmento do vídeo é o loop de operações, e é onde os quatro jargões visivelmente se fundem em um sistema só.

Toda execução é rastreada como uma árvore de eventos. Ferramentas como Langfuse ou LangSmith capturam o que foi pedido, o que foi recuperado, quantas chamadas de ferramenta dispararam, com latência e contagem de tokens por etapa. A avaliação então lê esses rastros de duas maneiras ao mesmo tempo. A pontuação por LLM-como-juiz cuida das dimensões difusas, e verificações determinísticas de saúde cuidam dos fatos: a reunião foi de fato agendada? Aquela recuperação levou 2ms ou 20 segundos?

O diagnóstico transforma notas em causas. Depois vem o portão de decisão, a etapa que a maioria dos times pula. Se a correção é rasa, publique-a como uma nova versão de prompt, uma mudança de configuração de modelo ou parâmetros de recuperação ajustados, e deixe as próximas execuções validarem. Se algo está profundamente quebrado, corrija o bug e rode o ciclo inteiro de novo, em vez de esconder o problema com ajustes de prompt.

O enquadramento final de Chen: o objetivo é um sistema que evolui sozinho, com cada execução rastreada, avaliada, diagnosticada, e a configuração melhorada realimentando a execução seguinte. Fizemos a versão de governança desse argumento ao examinar o loop de observabilidade como a verdadeira superfície de controle de agentes em produção. O vídeo de Chen fornece o diagrama de fiação do praticante para o mesmo loop.

O harness é o ativo

Aqui está a leitura estratégica que o vídeo insinua e não chega a declarar. O modelo é uma commodity que você aluga. Os preços caem, as capacidades convergem, e o modelo que você chama hoje será trocado em um ano. O harness é diferente. Sua memória procedural codifica como a sua empresa age. Sua memória semântica guarda fatos sobre o seu negócio que não existem em nenhum outro lugar. Seus end-loop guardrails codificam a sua tolerância a risco. Seus rastros e evals codificam o que “funcionando” significa para você, especificamente.

Essa camada compõe com o tempo, sobrevive a trocas de modelo e não pode ser comprada de fornecedor, porque o conteúdo dela é a sua operação. É também, precisamente, onde a confiança na saída do agente é fabricada. O stakeholder que pergunta “podemos confiar no agente” está perguntando, na prática, se o harness existe: se pontos de parada são confirmados, se execuções são rastreadas, se falhas passam por um portão de correção. A engenharia agêntica, como disciplina, é em grande parte a prática de construir bem essa camada.

Times que tratam o trabalho de harness como encanamento abaixo do “verdadeiro” trabalho de IA estão com o inventário de ativos invertido.

Faça isto agora

Pegue o seu agente mais importante e escreva um inventário de harness de uma página ainda esta semana. Cinco linhas: onde vivem suas memórias procedural, semântica e episódica; quais perguntas de recuperação vão para SQL e quais vão para busca semântica; o que diz o seu end-loop guardrail, em palavras; onde os rastros são armazenados; e o que acontece, concretamente, quando uma avaliação falha. Cada linha que você não conseguir preencher é um lugar onde a confiança naquele agente está, hoje, apoiada no cavalo.

---

Fontes

• Sean’s AI Stories. “You Can Learn AI Agent Harness & Loop Engineering In 19 Min.” Junho de 2026.

A Victorino ajuda times de engenharia a projetar a camada de harness que torna agentes rastreáveis, governáveis e seguros em produção: contato@victorino.com.br | www.victorino.com.br