Documentação É o Substrato da Governança. Remova-a e a Precisão Despenca.

A documentação de modelos passou duas décadas como o artefato que ninguém assume. É escrita no fim, por quem sobrou, às pressas, e envelhece no instante em que o modelo retreina. Os reguladores estão prestes a tornar essa postura ilegal. A NVIDIA acaba de torná-la automatizável. E, escondido no lançamento, há um benchmark que reformula a conversa inteira: documentação não é o papelório que fica ao lado do modelo. É o substrato que torna o modelo auditável.

O Model Card Generator (MCG) Toolkit da NVIDIA lê código-fonte e produz um model card alinhado a normas de conformidade em menos de um minuto. A execução de destaque, usando o Nemotron Nano 8B, levou 56 segundos e atingiu 97% de completude com 92% de precisão, contra um baseline de 91% de completude e 76% de precisão. São números de fornecedor, num post promocional, então trate-os de forma direcional. A parte durável não é a velocidade. É o que a ferramenta se recusa a fazer, e o que acontece quando você tira os insumos dela.

A Recusa É a Funcionalidade

A maioria das ferramentas de documentação automatizada tem um modo de falha que as desqualifica para trabalho de conformidade: quando não sabem algo, elas adivinham. Um model card que afirma com confiança uma origem de dados de treino que inferiu do nada é pior que um campo em branco. Ele transforma uma alucinação em uma declaração regulatória.

O MCG faz o oposto. Quando a fonte não contém a resposta, o cartão exibe “informação não disponível” e roteia aquele campo para um humano. Essa única escolha de design é o que separa um artefato de conformidade de um gerador de conteúdo. Um auditor não precisa que a máquina seja completa. Um auditor precisa que a máquina seja honesta sobre onde está incompleta, para que as lacunas virem uma lista de tarefas em vez de um passivo.

É a mesma disciplina que a boa documentação de engenharia sempre exigiu, agora imposta por ferramenta. O cartão diz o que sabe, marca o que não sabe e devolve o desconhecido a uma pessoa que pode ser responsabilizada por ele. Completude sem honestidade é uma armadilha. Honestidade sobre a incompletude é auditável.

O Benchmark Que Reformula Tudo

Aqui está o número que importa mais que a velocidade. A NVIDIA removeu a documentação dos repositórios de origem e rodou o gerador de novo. A completude caiu de 91% para 61%. A precisão despencou de 76% para 28%.

Releia. Com a documentação presente, o cartão gerado acertava três em cada quatro vezes. Com a documentação removida, errava quase três em cada quatro. O model card nunca esteve sendo gerado a partir do código sozinho. Estava sendo montado a partir das docstrings, dos READMEs, dos comentários inline, das notas de design, das coisas que um engenheiro cuidadoso escreveu porque sabia que alguém precisaria delas depois.

A precisão não morava no modelo. Morava na documentação que o modelo estava lendo. Tire o substrato e o gerador não degrada com elegância. Ele cai de um penhasco. Esse colapso é a evidência mais forte disponível de que documentação não é custo extra ao lado do trabalho de verdade. É a camada estrutural que torna tudo a jusante verificável.

Times que tratam documentação como imposto vêm destruindo silenciosamente a própria auditabilidade futura. Só não tinham instrumento para medir a perda. Este benchmark é esse instrumento. A queda de 48 pontos em precisão é o preço do código não documentado, pago depois, com juros, no exato momento em que um regulador pede para você provar o que seu modelo faz.

Conformidade Deixou de Ser Opcional

A razão de isso pesar agora, e não há dois anos, é regulatória. A AB-2013 da Califórnia exige que desenvolvedores de IA generativa publiquem documentação de dados de treino. O EU AI Act obriga documentação técnica para sistemas de alto risco com campos específicos e enumerados. Não são sugestões de boas práticas. São obrigações de divulgação com prazos e penalidades atrelados.

O MCG alinha sua saída a esses frames diretamente: Model Card++, CycloneDX para o bill of materials de IA, AB-2013 e o EU AI Act. Esse alinhamento é o produto de verdade. Os 56 segundos de geração são conveniência. A conformidade de schema é o que permite a um time jurídico assinar embaixo. Um model card está virando o que uma demonstração financeira já é: uma divulgação estruturada e auditável, com formato definido, produzida em um cronograma, defensável sob escrutínio.

Já argumentamos que governança está virando uma categoria de produto por si só, com fornecedores entregando os controles que antes eram slides de política interna. A geração automatizada de model cards é a instância documental dessa virada. O artefato de conformidade está saindo de um entregável manual e indo para uma etapa de CI. E, como toda coisa que entra no CI, no momento em que é automatizada, vira um lugar onde padrões podem ser impostos em vez de apenas esperados.

A Armadilha Escondida na Automação

Um gerador que produz documentação de conformidade em menos de um minuto cria uma tentação óbvia: publicar o cartão, pular a revisão, confiar nos 92%. É exatamente a falha que o campo “informação não disponível” existe para prevenir, e ele só funciona se os times o respeitarem.

O benchmark já avisou o perigo. A precisão depende da qualidade da documentação na fonte. Um time que automatiza a geração de cartões enquanto deixa a documentação de origem apodrecer verá sua precisão deslizar de 76% rumo a 28% ao longo de alguns trimestres, gerando cartões lindamente formatados e cada vez mais errados. A ferramenta não conserta documentação ruim. Ela torna as consequências da documentação ruim mais rápidas e mais oficiais.

Isso se conecta a um padrão que continuamos vendo no campo. Na mesma semana em que o benchmark instrumenta o valor da documentação, ferramentas de verificação formal tornam a correção checável, e a infraestrutura de benchmarks expõe onde alegações de governança ficam sem verificação. O fio condutor é instrumentação. Coisas que eram afirmações de qualidade estão virando medições de qualidade. A documentação acaba de entrar nessa lista.

Faça Isto Agora

Escolha um modelo que sua organização tenha em produção ou perto dela. Rode um experimento mental que espelhe o teste da NVIDIA. Se você removesse hoje cada README, docstring e nota de design do repositório desse modelo, quanto da documentação de conformidade exigida alguém conseguiria reconstruir só a partir do código?

Se a resposta honesta for “a maior parte”, sua disciplina de documentação já é sua disciplina de governança, e você deveria automatizar a geração de cartões para capturar esse valor em cronograma. Se a resposta honesta for “quase nada”, você não tem um problema de documentação para resolver depois. Tem um passivo de auditabilidade acumulando agora, e o prazo do regulador é o dia em que ele vence.

Depois faça a mudança estrutural: mova a geração de model cards para o seu pipeline de release como um gate, com campos “informação não disponível” tratados como itens bloqueadores de revisão, não opcionais. Documentação escrita sob a disciplina de um gerador que se recusa a mentir é documentação que sobrevive a uma auditoria. É o único tipo que vale a pena ter.

Fontes

NVIDIA. “How to Automate AI Model Documentation with the NVIDIA MCG Toolkit.” Maio de 2026.

A Victorino ajuda times a transformar documentação de IA em uma camada de governança auditável que resiste à fiscalização regulatória: contato@victorino.com.br | www.victorino.com.br