Pular para conteúdo

workflow

um workflow é o grafo visual que define como os dados fluem: de onde vêm, quais transformações sofrem no caminho e em qual camada do lakehouse são gravados no final. você arrasta nós, conecta as setas entre eles e configura cada passo pelo painel lateral — sem escrever código de integração.

um workflow pertence a um pipeline: o workflow define o que fazer, o pipeline define quando e em qual ambiente isso roda.

anatomia de um workflow

[fonte]  →  [transformação]  →  [lakehouse writer]
  │                │                     │
  │         (opcional,             (bronze / silver / gold)
  │          múltiplos passos)
  └─ nós de controle de fluxo (branch condicional, quality gate, staging, webhook)

um workflow típico começa em uma ou mais fontes, passa por uma sequência de transformações e termina gravando o resultado em uma camada do lakehouse. nós de controle de fluxo podem ser inseridos em qualquer ponto para desviar caminhos, interromper a execução em caso de dado ruim ou pausar para aprovação humana.

categorias de nós

categoria função
fontes lêem dados de bancos, APIs, arquivos e do próprio lakehouse
transformações filtram, agregam, unem, validam e mapeiam os dados em memória
controle de fluxo branch condicional, webhook trigger, quality gate, staging para aprovação
lakehouse writer grava o resultado final numa camada (bronze/silver/gold) do lakehouse

por que não existe mais nó de destino externo

a datablixt concentra toda escrita governada no lakehouse interno da plataforma — não existe mais nó que grave diretamente em um Postgres, MongoDB, bucket externo ou API de terceiros. essa é uma escolha deliberada de arquitetura: manter uma única fonte de verdade, com linhagem e controle de acesso centralizados. veja o racional completo em lakehouse writer.

seções desta documentação

página descrição
criando um workflow passo a passo do builder visual
versionamento histórico de versões e como reverter mudanças
fontes todos os conectores de leitura
transformações operações sobre os dados
controle de fluxo branch, webhook, quality gate, staging
lakehouse writer gravação governada no lakehouse