remover nulos/vazios¶

fábrica

remove linhas que têm valores nulos ou em branco em uma ou mais colunas — útil como barreira de completude antes de persistir dados.

quando usar¶

garantir que colunas obrigatórias (ex: id, email, data_transacao) nunca cheguem vazias ao lakehouse
limpar registros incompletos vindos de uma fonte que não garante preenchimento de todos os campos
preparar dados para uma agregação ou join que exige valores presentes na chave

configuração¶

campo	tipo	obrigatório	descrição
`columns`	lista	não	colunas a verificar · vazio = verifica todas as colunas da tabela
`how`	enum	não	`any` (remove se qualquer coluna listada for nula) ou `all` (remove só se todas forem nulas) · padrão: `any`
`blank_as_null`	bool	não	trata strings vazias/só espaço como nulo, além de valores `null` de verdade · padrão: `true`

exemplo¶

remove se qualquer campo-chave estiver vazio¶

{
  "columns": ["email", "cpf"],
  "how": "any",
  "blank_as_null": true
}

remove a linha se email ou cpf estiver nulo ou em branco.

remove apenas linhas completamente vazias¶

{
  "columns": ["telefone", "celular", "whatsapp"],
  "how": "all"
}

remove a linha somente se todos os três campos de contato estiverem vazios — mantém linhas com pelo menos um canal de contato preenchido.

sem colunas especificadas, verifica a linha inteira

se columns não for informado, a verificação considera todas as colunas da tabela — útil como uma limpeza genérica de linhas completamente vazias vindas de uma fonte instável.