fontes¶
nós de fonte são o ponto de entrada de um pipeline: conectam a um sistema — banco de dados, api, saas, bucket ou outro lakehouse — e trazem os dados para dentro do fluxo visual, prontos para serem transformados, validados e governados.
toda a leitura é somente leitura nos sistemas de origem: a datablixt nunca escreve de volta no banco, na api ou no bucket que você conectou como fonte. isso elimina o risco de um pipeline mal configurado corromper um sistema operacional em produção.
conectores disponíveis¶
| conector | quando usar |
|---|---|
| auth rest | a api de destino exige login separado (usuário/senha → token) antes de qualquer chamada de dados |
| api rest | consumir qualquer api http/rest — saas, sistema interno, integração de parceiro |
| postgresql / sql server / mysql / oracle | extrair de bancos relacionais transacionais (erp, crm próprio, sistemas legados) |
| bigquery | consumir datasets já modelados no bigquery (analytics, data warehouse existente) |
| salesforce | extrair objetos de crm (contas, oportunidades, leads) via soql |
| mongodb | extrair coleções de bancos de documento (logs, eventos, catálogos flexíveis) |
| s3 / minio | ler arquivos (parquet, csv, json, excel) de um bucket próprio do cliente |
| db metadata | descobrir schema, tabelas, colunas e constraints de um banco antes de montar o pipeline |
| lakehouse reader | consumir uma tabela já governada em outro pipeline / camada do seu próprio lakehouse |
como escolher¶
- já existe um pipeline anterior escrevendo os dados no seu lakehouse? use lakehouse reader — é a forma mais barata e mais rápida de encadear pipelines (bronze → silver → gold).
- precisa de dados de um sistema transacional (erp, banco próprio)? use o conector de banco relacional correspondente.
- a fonte é uma api que exige login em duas etapas (primeiro autentica, depois consulta)? combine auth rest → api rest, reaproveitando o token gerado.
- não sabe ainda o que existe no banco de origem? rode um db metadata primeiro para inspecionar tabelas e colunas antes de desenhar o pipeline de extração.
como funciona a execução¶
- o nó de fonte é configurado com a conexão/credencial e os parâmetros de extração (query, endpoint, bucket, etc.)
- ao rodar o pipeline, os dados são lidos do sistema de origem
- o resultado fica disponível como uma tabela de trabalho, consumida pelo próximo nó do canvas
- nenhuma escrita ocorre no sistema de origem — a leitura é sempre não destrutiva
sistema externo (somente leitura)
↓
nó de fonte
↓
tabela de trabalho do pipeline
↓
próximo nó (fábrica, quality gate, lakehouse writer...)
modo de amostra
ao testar um nó de fonte individualmente no builder, o volume de dados é limitado automaticamente (uma amostra) e recursos como paginação completa ficam desabilitados — isso acelera a validação da configuração sem consumir todo o dataset de origem.