workflow¶
um workflow é o grafo visual que define como os dados fluem: de onde vêm, quais transformações sofrem no caminho e em qual camada do lakehouse são gravados no final. você arrasta nós, conecta as setas entre eles e configura cada passo pelo painel lateral — sem escrever código de integração.
um workflow pertence a um pipeline: o workflow define o que fazer, o pipeline define quando e em qual ambiente isso roda.
anatomia de um workflow¶
[fonte] → [transformação] → [lakehouse writer]
│ │ │
│ (opcional, (bronze / silver / gold)
│ múltiplos passos)
└─ nós de controle de fluxo (branch condicional, quality gate, staging, webhook)
um workflow típico começa em uma ou mais fontes, passa por uma sequência de transformações e termina gravando o resultado em uma camada do lakehouse. nós de controle de fluxo podem ser inseridos em qualquer ponto para desviar caminhos, interromper a execução em caso de dado ruim ou pausar para aprovação humana.
categorias de nós¶
| categoria | função |
|---|---|
| fontes | lêem dados de bancos, APIs, arquivos e do próprio lakehouse |
| transformações | filtram, agregam, unem, validam e mapeiam os dados em memória |
| controle de fluxo | branch condicional, webhook trigger, quality gate, staging para aprovação |
| lakehouse writer | grava o resultado final numa camada (bronze/silver/gold) do lakehouse |
por que não existe mais nó de destino externo
a datablixt concentra toda escrita governada no lakehouse interno da plataforma — não existe mais nó que grave diretamente em um Postgres, MongoDB, bucket externo ou API de terceiros. essa é uma escolha deliberada de arquitetura: manter uma única fonte de verdade, com linhagem e controle de acesso centralizados. veja o racional completo em lakehouse writer.
seções desta documentação¶
| página | descrição |
|---|---|
| criando um workflow | passo a passo do builder visual |
| versionamento | histórico de versões e como reverter mudanças |
| fontes | todos os conectores de leitura |
| transformações | operações sobre os dados |
| controle de fluxo | branch, webhook, quality gate, staging |
| lakehouse writer | gravação governada no lakehouse |