Нужна ли локальная версия Spark при подключении к другому искровому кластеру через sparklyr?

Question

У меня есть производственный кластер R с установленным Rstudio.Пользователи сбалансированы по нагрузке на R-сервере и пишут код там.У меня также есть отдельный кластер Spark, который имеет 4 узла.Используя sparklyr, я легко могу подключиться к своему спарк-кластеру с помощью:

sc <- sparklyr::spark_connect("spark://<my cluster>:7077")

Единственное, что я замечаю, - это то, что на рабочем сервере R используется некоторое приложение Spark, когда я делаю это.Я считаю, что это вызывает некоторые проблемы.У меня установлен Spark на производственных серверах R и кластере Spark в одном SPARK_HOME месте /var/lib/Spark.

Я бы хотел полностью не использовать Spark на моих R-серверах, чтобы там не было никакого использования, связанного со Spark.Как мне сделать это с sparklyr?

Answer 1

Да, вам нужна локальная установка Spark для отправки приложений Spark.Остальное зависит от режима:

• В клиентском режиме драйвер будет работать на том же узле, с которого вы отправляете приложение.
• В режиме кластера драйвер будет работать на кластере,Там не будет локальный процесс Spark.Это, однако, не поддерживает интерактивную обработку.