Spark Driver, как собирать данные со всех рабочих?

Question

хотел бы знать, позволяет ли всем работникам успешно завершить свои работы, где отправляется результат (может быть на главном компьютере / машине с драйверами), как насчет памяти машины с драйвером…?

Answer 1

Итак, в соответствии с вашими ответами в комментариях ответ таков: данные о драйвере не собираются. Данные разработаны и хранятся только в исполнителях. Данные перемещаются в драйвер, только если вы выполняете операции, которые делают это, например. collect.