remover duplicatas¶

fábrica

remove linhas duplicadas, seja por um conjunto de colunas-chave ou por comparação de todas as colunas (distinct total).

quando usar¶

eliminar duplicidade causada por reprocessamento de um pipeline (ex: a mesma extração rodada duas vezes)
garantir unicidade de um identificador de negócio (ex: um pedido não deve aparecer duas vezes)
limpar duplicatas exatas vindas de uma fonte que não garante unicidade

configuração¶

campo	tipo	obrigatório	descrição
`columns`	lista	não	colunas-chave usadas para identificar duplicatas · vazio = `DISTINCT` sobre todas as colunas
`keep`	enum	não	qual ocorrência manter quando há duplicata: `first` ou `last` · padrão: `first`
`order_by`	string	não	coluna usada para decidir qual é "primeira" ou "última" (ex: uma coluna de data de atualização)

exemplo¶

duplicata exata (todas as colunas)¶

{}

sem columns, o nó aplica DISTINCT sobre a linha inteira — remove apenas linhas 100% idênticas.

duplicata por chave de negócio, mantendo o registro mais recente¶

{
  "columns": ["pedido_id"],
  "keep": "last",
  "order_by": "atualizado_em"
}

quando há mais de uma linha com o mesmo pedido_id, mantém a com maior valor de atualizado_em.

sem order_by, a ordem original é preservada

se order_by não for informado, o critério de desempate segue a ordem em que os dados chegaram ao nó — normalmente suficiente quando você só precisa garantir unicidade, sem se importar com qual ocorrência sobrevive.