controle de fluxo¶

nós de controle definem quando, como e por qual caminho a execução do pipeline avança — desde o disparo (agendamento, webhook), passando por bifurcações condicionais, até a validação e a gravação final no lakehouse.

nós disponíveis¶

nó	categoria	o que faz
webhook trigger	disparo	inicia o pipeline por uma chamada http externa (post), expondo o corpo da requisição como tabela
branch	roteamento	divide a execução em dois caminhos (verdadeiro/falso) conforme uma condição
split	roteamento	divide os registros em múltiplos segmentos nomeados para tratamento diferenciado
merge	consolidação	une os dados de múltiplos nós upstream em um único dataset
join	consolidação	cruza dois nós por uma chave comum (inner/left/right/full)
iterador	repetição	executa um sub-fluxo para cada item de uma lista (loop)
coletor	repetição	agrega os resultados de múltiplas iterações do iterador em um único dataset
sql	transformação livre	executa sql arbitrário sobre os dados de um ou mais nós do pipeline
schema cast	qualidade / tipagem	infere e tipifica colunas antes da camada bronze
quality gate	qualidade	valida regras de qualidade e bloqueia o pipeline se falharem, sem persistir dado
lakehouse writer	persistência	grava o resultado do pipeline em qualquer lakehouse do workspace
staging	(renomeado)	nome antigo do quality gate — mantido apenas por compatibilidade

como escolher¶

precisa iniciar o pipeline por um evento externo (em vez de agendamento)? use webhook trigger.
o fluxo precisa seguir caminhos diferentes conforme uma condição? use branch (dois caminhos) ou split (múltiplos segmentos nomeados).
precisa repetir uma sequência de nós para cada item de uma lista? combine iterador + coletor.
a lógica é mais fácil de expressar em sql puro do que em nós lowcode? use sql.
os dados precisam ser tipificados antes de entrar na camada bronze? use schema cast.
precisa barrar o pipeline se os dados não atenderem a critérios de qualidade? use quality gate.
é hora de persistir o resultado no lakehouse? todo pipeline termina em um lakehouse writer.

fluxo típico completo¶

[webhook trigger ou agendamento]
      ↓
[fonte(s) de dados]
      ↓
[branch / split]  (opcional — roteamento condicional)
      ↓
[fábrica: transformações]
      ↓
[schema cast]  (opcional — antes da camada bronze)
      ↓
[quality gate]  (bloqueia se a qualidade falhar)
      ↓
[lakehouse writer]  (grava na camada bronze/silver/gold)
      ↓
[notificação por e-mail]  (opcional — avisa a equipe do resultado)