Um NDA voltou com as marcações de revisão em quatro minutos e cinquenta e três segundos. Um advogado trabalhando o mesmo documento sem nenhuma tecnologia levou cerca de 58 minutos. Quem reporta esse número acrescenta a própria ressalva: “um ganho de 10x, ainda que em ambiente estéril: uma amostra conhecida, um único tipo de contrato”. A ressalva é a parte honesta, e não é a parte interessante.
A parte interessante é quem calibrou os juízes que decidiram que aquela revisão estava boa.
A Crosby é um escritório de advocacia, com as obrigações que a palavra carrega. Emprega advogados, responde por responsabilidade profissional e cobra honorários fixos por entregas, em vez de horas. Levantou US$ 85 milhões com Sequoia, Lux, Index, Elad Gil e BCV, e tem Ramp, Cognition, Cursor e Clay entre os clientes. Do lado incumbente do mesmo mercado, Kirkland & Ellis está gastando US$ 500 milhões construindo tecnologia interna. Os dois fatos descrevem a mesma pressão. Só um deles descreve uma mudança em quem é dono do ciclo de verificação.
O Problema Que Ninguém Compra Pronto
Agentes de código ficaram bons rápido porque código é verificável. Uma suíte de testes roda, um compilador reclama, um benchmark pontua. O sinal de recompensa é barato, mecânico e disponível em quantidade ilimitada. Todo produto sério de agentes em software pega carona nesse verificador gratuito.
Revisão de contrato não tem compilador. Se uma cláusula de limitação de responsabilidade é aceitável depende da contraparte, do tamanho do negócio, do apetite a risco do cliente e do que foi negociado nos três últimos acordos com aquele mesmo fornecedor. Dois advogados competentes vão discordar, e os dois terão argumentos defensáveis. Não existe oráculo para consultar.
Sobram exatamente duas saídas para quem coloca agentes em um domínio assim: fingir que o problema não existe e publicar no feeling, ou construir o verificador. A Crosby construiu. Sharan Ramjee, engenheiro de pesquisa fundador da empresa, descreve o destino sem rodeios: “a pergunta na direção da qual estamos avançando é como transformar revisão de contrato em um domínio mais verificável, construindo modelos de recompensa próprios. Com o tempo, isso pode abrir caminho para revisão autônoma via aprendizado por reforço.”
Essa frase é uma declaração de governança antes de ser um roteiro de pesquisa. Se a intenção é rodar agentes de forma autônoma em um domínio onde correção é contestada, primeiro é preciso fabricar aquilo que define o que é correto. E alguém precisa ser dono disso.
Quem Segura a Caneta do Juiz
O ciclo que a Crosby roda tem quatro peças em movimento. Evals online detectam regressão a cada edição gerada, então a queda de qualidade aparece em produção e não numa revisão trimestral. Um dataset offline canaliza automaticamente os casos de falha para uma suíte de regressão que cresce sozinha. Um LLM descobre ativamente novos modos de falha, em vez de esperar que um humano perceba. E os advogados calibram os juízes.
Essa última peça sustenta o resto. Quem escreve os critérios de avaliação são as mesmas pessoas que respondem ao cliente quando a revisão sai errada. Ariba Khan, do time técnico, descreve a postura: “Você precisa de evals online, aprendendo continuamente com eles… nunca dá para supor que você está na fronteira.”
Compare com o modo como a maioria das funções reguladas está adotando agentes hoje. Um time de plataforma ou um fornecedor constrói o arcabouço de avaliação. Compliance revisa uma amostra de saídas uma vez, na contratação. Os profissionais que carregam a responsabilidade legal, os advogados, os auditores, os médicos, os oficiais de risco, recebem um sistema cuja definição de “aceitável” foi escrita por gente que nunca será processada por ela.
Esse arranjo falha de um jeito específico e previsível. O juiz codifica o que o construtor conseguiu medir, e não aquilo pelo que o profissional responde. As métricas seguem verdes enquanto as falhas que importam se acumulam por baixo, porque essas falhas nunca entraram na rubrica. Ninguém percebe até que um cliente perceba.
Estrutura de Honorário É Controle
A hora faturável premia tempo gasto. Um agente que comprime 58 minutos em cinco destrói receita nesse modelo, e é por isso que escritórios incumbentes precisam converter o ganho de IA em capacidade ou em jogo de margem, em vez de repassá-lo. A Crosby vende entregas por preço fechado. Velocidade vira vazão e margem diretamente, então não existe incentivo organizacional para desacelerar ou inflar o trabalho.
A estrutura de honorários é o que permite que o ciclo de evals continue honesto. Quando economizar minutos ajuda o escritório, medir se a qualidade se manteve vira uma pergunta genuína em vez de uma ameaça. Sob hora faturável, um eval que diz “o agente é rápido e preciso” é um eval que argumenta contra quem o encomendou.
Olhe para a sua própria estrutura de incentivo antes de confiar nas suas próprias métricas de qualidade. Se o orçamento ou o quadro de pessoal de uma área encolhe quando o agente vai bem, as pessoas que rodam os evals estão sendo convidadas a dar nota à própria substituição. Vão dar uma nota generosa ou uma nota dura, mas não vão dar uma nota neutra.
Medição Como Ritual, Não Como Relatório
A Crosby roda time trials internos cronometrados: o mesmo documento disputado com e sem o ferramental, pontuado em um placar público de revisão de contratos, acompanhado semana a semana. Um evento recorrente, visível e competitivo, em vez de um benchmark rodado uma vez no lançamento.
Esse desenho faz duas coisas que um relatório trimestral de qualidade não faz. Mantém a linha de base viva, de modo que “ficamos mais rápidos” continua sendo uma afirmação medida, e não uma anedota de aniversário. E torna os profissionais participantes da medição, em vez de objetos dela. O advogado que correu contra o ferramental e perdeu sabe exatamente qual parte da saída ele teve que corrigir, que é precisamente o insumo de que o juiz de avaliação precisa em seguida.
Há também uma decisão de produto ali que funciona como política. Nas palavras da reportagem: “você pode fazer os advogados sentirem que estão a serviço de um robô ou que estão no controle, direcionando e orquestrando”. O desenho da interface determina se a pessoa que carrega a responsabilidade se comporta como operadora ou como aprovadora. Aprovador carimba. Operador pega o erro.
Ross Weiser, advogado que deixou Sullivan & Cromwell para fazer engenharia jurídica na Crosby, descreve o que os clientes de fato compram: “Eles querem saber que podem confiar na gente. Querem saber quem é o responsável. É tão humano.” Clientes não estão contratando vazão. Estão contratando uma parte nomeada que responde pelo resultado. Todo controle de governança que vale a pena construir volta a essa pergunta.
Faça Isso Agora
Pegue um fluxo assistido por agente em uma função regulada ou intensiva em juízo profissional da sua empresa. Revisão contratual, decisão de crédito, documentação clínica, alegações de marketing, o que estiver rodando. Depois responda três coisas por escrito.
Quem escreveu os critérios de avaliação, com nome e cargo? Se a resposta for um time de plataforma, um fornecedor ou ninguém, quem carrega a responsabilidade não está com o verificador na mão. Mude a caneta de lugar.
Quando o eval mudou pela última vez, e o que disparou a mudança? Se os casos de falha não são canalizados automaticamente para um conjunto de regressão, seu sinal de qualidade é uma foto do dia do lançamento.
A área responsável perde orçamento, pessoas ou receita faturável quando o agente vai bem? Se sim, suas métricas de qualidade estão comprometidas na origem, e nenhuma sofisticação de eval conserta isso. Conserte o incentivo primeiro.
Já escrevemos sobre IA jurídica em escala de fornecedor e sobre rastreabilidade entregue como funcionalidade de produto. A Crosby acrescenta a peça que falta nesses dois. Em um domínio sem compilador, o verificador é um artefato de governança, e pertence a quem atende o telefone quando o trabalho sai errado.
Fontes
- New Ontologies. “Crosby: The Inner Workings of a Neofirm.” 2026.
A Victorino ajuda funções reguladas a desenhar ciclos de avaliação sob a caneta de quem carrega a responsabilidade: contato@victorino.com.br | www.victorino.com.br
Todos os artigos do The Thinking Wire são escritos com o auxílio do modelo LLM Opus da Anthropic. Cada publicação passa por pesquisa multi-agente para verificar fatos e identificar contradições, seguida de revisão e aprovação humana antes da publicação. Se você encontrar alguma informação imprecisa ou deseja entrar em contato com o editorial, escreva para editorial@victorino.com.br . Sobre o The Thinking Wire →
Se isso faz sentido, vamos conversar
Ajudamos empresas a implementar IA sem perder o controle.
Agendar uma Conversa