Запуск Spark на локальной машине с master = local [*] и вызов метода .collect - PullRequest
0 голосов
/ 08 марта 2020

Мне нужна помощь в понимании этой документации на веб-сайте Spark:

Другая распространенная идиома - это попытка распечатать элементы СДР с помощью rdd.foreach (println) или rdd.map (println). ). [1-я категория] На одной машине это сгенерирует ожидаемый результат и напечатает все элементы СДР. [2-я категория] Однако в кластерном режиме вывод на stdout, вызываемый исполнителями, теперь записывает вместо этого вывод stdout исполнителя ...

Я запускаю искру локально (с локальным [*] внутри Eclipse IDE), который подключается к постановке Cassandra (которая работает на нескольких узлах), попадает в первую категорию или вторую?

Любая помощь приветствуется.

1 Ответ

1 голос
/ 09 марта 2020

Вы не отправляете свой код в кластер, поэтому ваш код относится к первой категории

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...