Spark Node Local Пример и определения - PullRequest
0 голосов
/ 31 мая 2019

Найдены определения

NODE_LOCAL

1) Данные и обработка находятся в одном узле, но в другом исполнителе.Этот уровень медленнее предыдущего, поскольку он должен перемещать данные между процессами.

2) * NODE_LOCAL // Эта задача будет выполняться на том же компьютере, что и исходные данные.

Вопросы

1) Пример перемещения данных между процессами , следовательно?Почему бы не запланировать, чтобы другие использовали этих Исполнителей первыми?

2) С S3 и прочим, конечно, 2) больше не может удерживаться?

Кажется, что за всеми другими вариантами легко следовать, этот - по крайней мередля меня - не так.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...