Pular para conteúdo

aprovação de staging

antes de um dado ser promovido para uso em produção, é uma boa prática de governança revisar uma amostra do resultado — confirmar que os valores fazem sentido, que os campos esperados estão presentes, que não há um volume anormal de nulos. a datablixt oferece dois mecanismos complementares para isso.

quality gate: validação automática por regras

o mecanismo recomendado hoje para controlar a qualidade de um dado antes de ele avançar para as camadas bronze/silver/gold é o nó de quality gate, configurado diretamente no workflow. ele aplica regras de validação (coluna não pode ser nula, coluna deve ser única, volume mínimo/máximo de linhas, ou uma regra sql personalizada) e decide automaticamente se o pipeline continua ou é interrompido, gerando um relatório de qualidade a cada execução.

esse é o gate de qualidade ativo na arquitetura atual — ele não depende de uma pessoa clicar em "aprovar" a cada execução; a regra, uma vez configurada, roda sozinha em toda execução do pipeline.

por que isso importa para governança

regras automáticas de qualidade evitam que um erro silencioso (uma fonte que passou a mandar campos vazios, por exemplo) se propague para as camadas de produção do lakehouse sem que ninguém perceba — o pipeline simplesmente para e reporta o problema.

revisão manual de dados em staging

para pipelines que utilizam o gate de staging legado, a plataforma também disponibiliza uma tela de revisão manual: é possível inspecionar uma amostra dos registros retidos (com estatísticas de nulos, valores distintos e amostras por coluna) e registrar uma decisão de aprovação ou rejeição sobre aquele lote de dados. rejeitar um lote descarta os registros retidos; aprovar registra a decisão para fins de trilha de auditoria.

revise antes de depender deste fluxo em um workflow novo

esse mecanismo de revisão manual foi desenhado para uma geração anterior da orquestração da plataforma. em workflows novos, o quality gate é o mecanismo indicado para controlar promoção de dados — a revisão manual de staging deve ser tratada como um recurso complementar/legado, não como o gate principal de governança de dados hoje.

qual escolher

situação mecanismo recomendado
quero uma regra objetiva que rode sozinha a cada execução quality gate
preciso inspecionar visualmente uma amostra antes de decidir revisão manual de staging (workflows legados)
quero rastrear quem aprovou/rejeitou um lote, para auditoria registro de decisão de staging + trilha de auditoria