linhagem de dados¶
linhagem de dados (data lineage) é o rastreamento de de onde um dado veio e por quais transformações ele passou até chegar ao seu estado atual. na datablixt, isso é visível diretamente pela interface, sem precisar consultar logs manualmente ou entender o código do pipeline.
por que isso importa para auditoria e LGPD
quando um auditor (interno ou externo) pergunta "de onde veio esse número no relatório?" ou "quais sistemas tocaram nesse dado de cliente?", ter uma resposta rastreável e imediata é a diferença entre uma auditoria tranquila e uma investigação manual de dias. linhagem de dados é também um requisito comum em frameworks de compliance como a LGPD, que exige rastreabilidade sobre o tratamento de dados pessoais.
os três níveis de linhagem¶
a datablixt oferece linhagem em três granularidades complementares:
1. linhagem de workflow (estática)¶
mostra o desenho do workflow em si: quais nós existem, como estão conectados, e qual o tipo de cada nó (fonte, transformação, destino). é a "planta" do pipeline — útil para entender rapidamente a estrutura de um workflow que você não construiu.
2. linhagem de execução (dinâmica)¶
para cada execução (run) de um pipeline, a datablixt registra métricas reais por nó: quantas linhas foram lidas, quantas foram escritas, quanto tempo cada etapa levou, e se algum nó falhou (com a mensagem de erro correspondente). isso permite responder não só "como o pipeline é desenhado", mas "o que realmente aconteceu na última execução".
3. linhagem de dataset (entre pipelines)¶
mostra, de forma agregada, quais pipelines leem e quais pipelines escrevem em uma determinada fonte ou tabela — útil para entender dependências cruzadas antes de alterar ou desativar um pipeline. por exemplo: antes de desligar um pipeline que grava em uma tabela do lakehouse, é possível checar quais outros pipelines dependem dela como fonte.
linhagem de uma tabela do catálogo¶
ao abrir uma tabela pelo catálogo, a aba de linhagem mostra o histórico de execuções que gravaram naquela tabela especificamente — de qual pipeline, em qual momento, e quantas linhas foram escritas em cada execução. isso conecta diretamente o dado que você está consultando ao processo que o originou.
quando usar¶
- antes de confiar em um número de um relatório, confira a linhagem da tabela de origem para saber a última vez que ela foi atualizada e por qual pipeline;
- antes de desativar ou alterar um pipeline, confira a linhagem de dataset para não quebrar outro processo que dependa dele;
- durante uma auditoria, use a linhagem de execução para demonstrar exatamente o caminho percorrido por um dado específico.