coletor¶
controle
agrega os resultados de múltiplos nós — tipicamente saídas de um iterador ou de ramos paralelos do pipeline — em um único dataset consolidado.
quando usar¶
- consolidar os resultados de várias execuções dentro de um iterador em uma única tabela para os próximos passos
- unificar saídas de múltiplos nós que processaram partes diferentes de um mesmo dataset em paralelo
- simplificar um pipeline com vários ramos terminando no mesmo formato de dado, antes de um lakehouse writer único
configuração¶
| campo | tipo | obrigatório | descrição |
|---|---|---|---|
source_nodes |
lista | sim | ids dos nós cujos resultados serão agregados |
mode |
enum | não | union_all (mantém duplicatas) ou union (remove duplicatas exatas) · padrão: union_all |
exemplo¶
{
"source_nodes": ["node_resultado_a", "node_resultado_b", "node_resultado_c"],
"mode": "union_all"
}
o coletor produz um único dataset com todas as linhas dos três nós listados, preservando eventuais duplicatas.
com mode: union, linhas idênticas entre os dois nós de origem aparecem apenas uma vez no resultado consolidado.
coletor vs. merge¶
| nó | conexões no canvas | uso típico |
|---|---|---|
| coletor (este nó) | referencia nós específicos por id, tipicamente saídas de um iterador | consolidar resultados de processamento em loop ou de ramos paralelos nomeados |
| merge | conecta visualmente múltiplas entradas diretamente ao nó | consolidar dados de fontes distintas conectadas fisicamente no canvas |
na prática, ambos produzem um dataset único a partir de múltiplas origens — a escolha costuma depender de qual topologia de canvas é mais natural para o seu pipeline.
sempre depois de um iterador com chunking
quando o iterador está configurado com chunk_mode diferente de none, os resultados ficam disponíveis como uma única view consolidada automaticamente — o coletor é mais útil quando você precisa combinar saídas de nós distintos, não apenas os chunks de um mesmo iterador.