11 · Drift, hash e ciclo de calibração
Quando o Top 10 muda, é sinal ou ruído? O Drift Log responde — e o ciclo de calibração trimestral garante que a resposta seja consequente, não retórica. Este capítulo trata do mecanismo que separa aprendizado legítimo de instabilidade de modelo, distinção sem a qual nenhum Conselho consegue confiar em uma recomendação que mudou.
11.0 · Por que este capítulo existe (abertura conceitual)
Em 2015, o documento seminal de Sculley et al. (Google, NeurIPS) cunhou a expressão "hidden technical debt in machine learning systems": dívida técnica acumulada não no código, mas na deriva silenciosa entre o mundo no qual o modelo foi treinado e o mundo no qual ele opera. Esse fenômeno — drift— pode ser de três tipos: (i) data drift, mudança na distribuição das variáveis de entrada; (ii) concept drift, mudança na relação entre entrada e saída; (iii) label drift, mudança no que se considera um "bom" resultado. O Agente DET é particularmente exposto aos três — porque opera sobre painel municipal brasileiro, território onde a base estatística oficial se atualiza em ritmos heterogêneos (IBGE, DATASUS, INEP) e onde o próprio conceito de "vulnerabilidade" muda a cada ciclo legislativo.
Para o operador novo, três ideias-chave: (i) drift não é erro — é o sinal de que o mundo se moveu e o modelo precisa ser reapresentado a ele; (ii) todo drift precisa ter dono — uma causa identificável e um responsável humano que autoriza a recalibração; (iii) drift sem causa é alarme vermelho, sinal de bug de pipeline ou contaminação de snapshot — congele decisões até a investigação concluir. Esta postura é convergente com o que a EU AI Act (Artigo 12, 2024) e o NIST AI RMF (2023) chamam de continuous monitoring.
“ML systems have a special capacity for incurring technical debt because they have all of the maintenance problems of traditional code plus an additional set of ML-specific issues. This debt may be difficult to detect because it exists at the system level rather than the code level.”
11.1 · O que é drift · taxonomia operacional
11.2 · Estrutura do Drift Log
Cada entrada do log contém:
- Hash anterior e hash novo (FNV-1a 32-bit).
- Lista de municípios que entraram e saíram do Top 10.
- Decomposição percentual: quanto da mudança veio de dados, pesos, DAG, gates.
- Comentário do operador (obrigatório, mínimo 50 caracteres) — esta é a peça humana que vincula a mudança técnica a uma decisão política rastreável.
- Assinatura digital do responsável (e-mail + timestamp UTC).
11.3 · Trigger de calibração · regras automáticas
O sistema dispara automaticamente sugestão de recalibração quando:
- Mais de 3 municípios entram/saem do Top 10 entre execuções consecutivas;
- Banda média P5–P95 alarga em mais de 15%;
- Algum componente perde explicação (R² do painel cai mais de 0,1);
- Index de Population Stability (PSI > 0,2) detectado em qualquer variável de entrada — métrica clássica em risco de crédito (Siddiqi, 2017) adaptada para variáveis socioeconômicas;
- 120 dias se passaram desde a última calibração formal.
11.4 · Cadência canônica
- Mensal — atualização de dados primários, sem mudança de pesos. Drift esperado: pequeno (< 3 municípios trocando).
- Trimestral — revisão de DAG e gates pelo Comitê Acadêmico. Drift moderado.
- Anual — calibração estratégica de pesos pelo Conselho. Drift potencialmente grande, sempre com nota explicativa pública.
- Por evento — choque exógeno (mudança constitucional, novo Censo, pandemia). Cadência reativa, com janela de 30 dias para reapresentação ao Conselho.
Para aprofundar
- Hidden Technical Debt in Machine Learning Systems ↗Sculley et al. · 2015Texto-base que estabelece o vocabulário de dívida técnica em sistemas de ML.
- Model Cards for Model Reporting ↗Mitchell et al. (Google) · 2019Padrão de documentação de modelos — inspira o Drift Log como peça pública e auditável.
- Datasheets for Datasets ↗Gebru et al. · 2021Complementa Model Cards no que tange à origem e qualidade dos insumos.
- Weapons of Math Destruction ↗O'Neil, C. · 2016Argumento ético para decomposição auditável de mudanças algorítmicas.
- Credit Risk Scorecards (cap. PSI) ↗Siddiqi, N. · 2017Origem técnica do Population Stability Index — cortes 0,1 e 0,2 usados pelo agente.
- EU AI Act · Article 12 (record-keeping) ↗2024Requisito regulatório de logs de execução para sistemas de alto risco — convergente com o Drift Log.
- NIST AI Risk Management Framework 1.0 ↗NIST · 2023Função MEASURE inclui 'continuous monitoring' — fundamento do trigger automático de calibração.
- MLflow · Tracking & Model Registry ↗2024Padrão de mercado para versionamento de experimentos — referência arquitetural do Drift Log.