Pular para conteúdo

conceitos

glossário de referência da datablixt — consulte sempre que um termo aparecer na interface e não estiver claro.

hierarquia geral

organização
└── workspace
    ├── lakehouses
    │   └── tabelas (bronze / silver / gold)
    ├── workflows
    └── pipelines
          └── runs

entidades principais

workspace

o espaço de trabalho que agrupa lakehouses, workflows e pipelines de uma equipe ou área de negócio. o controle de acesso (RBAC) e as políticas de retenção são configurados no nível do workspace.

lakehouse

o armazenamento governado da datablixt. organiza os dados em três camadas:

camada propósito
bronze dado bruto, como chegou da fonte
silver dado limpo, validado e padronizado
gold dado agregado, pronto para consumo de negócio

cada camada tem controle de acesso e regras de mascaramento de PII configuráveis de forma independente.

pipeline

o container que agenda e executa um workflow. define quando (agendamento cron), em qual ambiente (branch developer ou main) e com qual configuração (variáveis injetadas em tempo de execução) o workflow roda.

workflow

o grafo visual que define o que fazer com os dados: quais fontes ler, quais transformações aplicar e em qual camada do lakehouse gravar o resultado. um workflow pertence a um pipeline.

a unidade mínima de um workflow. cada nó tem um tipo (fonte, transformação, controle de fluxo ou gravação no lakehouse) e uma configuração própria. nós são conectados por setas que definem a direção do fluxo de dados.

run

uma execução concreta de um pipeline. registra status por nó (na fila, executando, sucesso, falhou, cancelado), logs estruturados e tempo/volume de dados processado — tudo consultável em tempo real.

o módulo de navegação dos dados: permite explorar a árvore workspace → lakehouse → tabela, inspecionar o schema inferido automaticamente e rodar consultas SQL ad-hoc.

credencial (vault)

as credenciais de acesso a bancos de dados e APIs externas ficam guardadas em um cofre criptografado da plataforma — nunca expostas em texto plano dentro da configuração de um nó.

branches de ambiente

todo pipeline nasce na branch developer — o ambiente de construção e teste. quando o resultado está validado, ele é promovido para a branch main, o ambiente de produção.

branch uso
developer construção e teste, isolado de produção
main produção — dados e agendamentos que o negócio depende

→ detalhes em branches de ambiente.

por que isso importa na prática

essa separação entre workspace, lakehouse, pipeline e workflow é o que permite que a datablixt escale de "um pipeline simples" para "dezenas de integrações governadas por uma organização inteira" sem virar bagunça: cada camada de conceito tem uma responsabilidade clara, e o controle de acesso, a governança e o agendamento seguem essa mesma estrutura.