pipeline¶
um pipeline é o container que implanta um workflow no mundo real. enquanto o workflow define o que fazer com os dados, o pipeline define quando, em qual ambiente e com qual configuração essa execução acontece.
conceitos do pipeline¶
- branch —
developer(ambiente de construção e teste) oumain(produção). veja branches. - schedule — expressão cron para execuções automáticas e recorrentes. veja agendamento.
- sla — um limite de duração esperado para a execução; ultrapassá-lo dispara um alerta de sla breach.
- variáveis — valores injetados em tempo de execução, usados pelos nós do workflow.
- run — cada execução individual do pipeline, com logs e status por nó. veja monitoramento.
por que separar pipeline de workflow¶
essa separação é o que permite testar um workflow inteiro em segurança (na branch developer) e só promover para produção (main) quando o resultado está validado — sem duplicar a lógica de transformação, só o ambiente de execução. é o mesmo princípio de "ambientes" que já existe em desenvolvimento de software, aplicado a pipelines de dados.
seções desta documentação¶
| página | descrição |
|---|---|
| criando um pipeline | do workflow ao pipeline agendado |
| branches | developer vs. main — por que isso evita incidentes |
| agendamento | configurando execuções automáticas via cron |
| monitoramento | acompanhando runs e logs em tempo real |
| alertas | notificações por e-mail em falhas, sucessos e estouro de sla |
| deployments | promovendo um pipeline de developer para produção |
| releases | promoção controlada entre múltiplos ambientes, com aprovação |