conceitos¶
glossário de referência da datablixt — consulte sempre que um termo aparecer na interface e não estiver claro.
hierarquia geral¶
organização
└── workspace
├── lakehouses
│ └── tabelas (bronze / silver / gold)
├── workflows
└── pipelines
└── runs
entidades principais¶
workspace¶
o espaço de trabalho que agrupa lakehouses, workflows e pipelines de uma equipe ou área de negócio. o controle de acesso (RBAC) e as políticas de retenção são configurados no nível do workspace.
lakehouse¶
o armazenamento governado da datablixt. organiza os dados em três camadas:
| camada | propósito |
|---|---|
| bronze | dado bruto, como chegou da fonte |
| silver | dado limpo, validado e padronizado |
| gold | dado agregado, pronto para consumo de negócio |
cada camada tem controle de acesso e regras de mascaramento de PII configuráveis de forma independente.
pipeline¶
o container que agenda e executa um workflow. define quando (agendamento cron), em qual ambiente (branch developer ou main) e com qual configuração (variáveis injetadas em tempo de execução) o workflow roda.
workflow¶
o grafo visual que define o que fazer com os dados: quais fontes ler, quais transformações aplicar e em qual camada do lakehouse gravar o resultado. um workflow pertence a um pipeline.
nó¶
a unidade mínima de um workflow. cada nó tem um tipo (fonte, transformação, controle de fluxo ou gravação no lakehouse) e uma configuração própria. nós são conectados por setas que definem a direção do fluxo de dados.
run¶
uma execução concreta de um pipeline. registra status por nó (na fila, executando, sucesso, falhou, cancelado), logs estruturados e tempo/volume de dados processado — tudo consultável em tempo real.
catálogo¶
o módulo de navegação dos dados: permite explorar a árvore workspace → lakehouse → tabela, inspecionar o schema inferido automaticamente e rodar consultas SQL ad-hoc.
credencial (vault)¶
as credenciais de acesso a bancos de dados e APIs externas ficam guardadas em um cofre criptografado da plataforma — nunca expostas em texto plano dentro da configuração de um nó.
branches de ambiente¶
todo pipeline nasce na branch developer — o ambiente de construção e teste. quando o resultado está validado, ele é promovido para a branch main, o ambiente de produção.
| branch | uso |
|---|---|
developer |
construção e teste, isolado de produção |
main |
produção — dados e agendamentos que o negócio depende |
→ detalhes em branches de ambiente.
por que isso importa na prática¶
essa separação entre workspace, lakehouse, pipeline e workflow é o que permite que a datablixt escale de "um pipeline simples" para "dezenas de integrações governadas por uma organização inteira" sem virar bagunça: cada camada de conceito tem uma responsabilidade clara, e o controle de acesso, a governança e o agendamento seguem essa mesma estrutura.