Pular para conteúdo

quickstart

vamos construir, do zero, um pipeline real: sincronizar os pedidos de uma loja virtual a partir de uma API de e-commerce, filtrar apenas os pedidos pagos e gravar o resultado no lakehouse, prontos para consulta. leva menos de 15 minutos.

1. criar um workspace

um workspace é o espaço de trabalho da sua equipe ou projeto — tudo que você cria a partir daqui (lakehouses, pipelines, workflows) vive dentro dele.

  1. na barra lateral, acesse workspaces → novo workspace.
  2. dê um nome (ex: loja-virtual) e confirme.

organização

se sua empresa tem áreas de negócio distintas (financeiro, vendas, operações), vale considerar um workspace por área — isso já separa o controle de acesso (RBAC) automaticamente.

2. criar um lakehouse

o lakehouse é onde os dados tratados vão ser governados e ficar disponíveis para consulta.

  1. dentro do workspace, acesse lakehouses → novo lakehouse.
  2. dê um nome (ex: vendas) e confirme.

isso cria a estrutura de camadas bronze → silver → gold pronta para receber dados.

3. criar um pipeline

um pipeline é o container que vai agendar e executar seu workflow.

  1. acesse pipelines → novo pipeline.
  2. dê um nome (ex: sync-pedidos-ecommerce).
  3. o pipeline é criado na branch developer — o ambiente seguro para construir e testar sem afetar produção.

4. montar o workflow

  1. abra o pipeline recém-criado e clique em novo workflow.
  2. arraste um nó de fonte api rest para o canvas e configure a URL do endpoint de pedidos (ex: https://api.loja.com/pedidos) e a autenticação necessária.
  3. conecte a saída desse nó a um nó de transformação filtrar linhas, com a condição status = 'pago'.
  4. conecte a saída do filtro a um nó lakehouse writer, apontando para a camada bronze do lakehouse vendas e o modo de escrita append.
[api rest: /pedidos] → [filtrar linhas: status = 'pago'] → [lakehouse writer: bronze/pedidos]
  1. clique no ícone de teste em cada nó para validar a configuração com uma amostra de dados antes de rodar o workflow inteiro — veja o passo a passo completo em criando um workflow.
  2. salve o workflow.

5. agendar a execução

  1. no pipeline, acesse agendamento e defina uma expressão cron (ex: 0 * * * * para rodar a cada hora).
  2. salve — o pipeline passa a rodar automaticamente, sem intervenção manual.

→ detalhes em agendamento.

  1. acesse catálogo → vendas → bronze → pedidos.
  2. explore os registros, o schema inferido automaticamente e, se quiser, rode uma consulta no editor SQL.

pronto: você tem uma integração de ponta a ponta rodando sozinha, com dado consultável e rastreável.

próximos passos