Pular para conteúdo

pipeline

um pipeline é o container que implanta um workflow no mundo real. enquanto o workflow define o que fazer com os dados, o pipeline define quando, em qual ambiente e com qual configuração essa execução acontece.

conceitos do pipeline

  • branchdeveloper (ambiente de construção e teste) ou main (produção). veja branches.
  • schedule — expressão cron para execuções automáticas e recorrentes. veja agendamento.
  • sla — um limite de duração esperado para a execução; ultrapassá-lo dispara um alerta de sla breach.
  • variáveis — valores injetados em tempo de execução, usados pelos nós do workflow.
  • run — cada execução individual do pipeline, com logs e status por nó. veja monitoramento.

por que separar pipeline de workflow

essa separação é o que permite testar um workflow inteiro em segurança (na branch developer) e só promover para produção (main) quando o resultado está validado — sem duplicar a lógica de transformação, só o ambiente de execução. é o mesmo princípio de "ambientes" que já existe em desenvolvimento de software, aplicado a pipelines de dados.

seções desta documentação

página descrição
criando um pipeline do workflow ao pipeline agendado
branches developer vs. main — por que isso evita incidentes
agendamento configurando execuções automáticas via cron
monitoramento acompanhando runs e logs em tempo real
alertas notificações por e-mail em falhas, sucessos e estouro de sla
deployments promovendo um pipeline de developer para produção
releases promoção controlada entre múltiplos ambientes, com aprovação