Как отправить результат функции в foreachPartition на узел драйвера?

Question

У меня есть программа Spark, в которой каждый узел-исполнитель обрабатывает некоторые части моего набора данных и предоставляет результат для каждой части.Результатом является объект.Мне нужно отправить результаты исполнителей на узел драйвера для дальнейшего анализа.

partitions.foreachPartition(iter => { var result = doSomethingWithIter(iter);});

Как я могу отправить result s в foreachPartition на узел драйвера?

Answer 1

По определению вы не можете.Функция, которую вы хотите от pass до foreachPartition:

Iterator[_] => Unit

Нет результата для отправки назад.Если вы хотите получить результаты, mapPartitions и collect вывод.

partitions.mapPartition(iter => Iterator(doSomethingWithIter(iter))).collect()