Apache Spark: как отправлять пользовательские сообщения от исполнителя в Driver

Question

Есть ли способ отправить несколько пользовательских сообщений из Executor в Driver In Apache Spark?Из журналов драйверов и исполнителей совершенно очевидно, что происходит много коммуникаций на уровне инфраструктуры, однако я не нашел API для отправки пользовательских сообщений между процессами.Пожалуйста, сообщите.

Answer 1

Я думаю, что вы можете использовать аккумуляторы!Прочтите об этом: https://www.tutorialspoint.com/apache_spark/advanced_spark_programming.htm

Вы не можете отправлять сообщения, но вы можете собирать данные у исполнителей и использовать их в драйвере после окончания параллельных вычислений.