Порты используемые Sparklyr с LIVY - PullRequest
Новая
       47

Порты используемые Sparklyr с LIVY

1 голос
/ 25 апреля 2019

Есть ли другой порт, необходимый для использования LIVY со Sparklyr, кроме порта LIVY? (по умолчанию 8998).

У меня есть две машины, с которых я пытаюсь использовать Spakrlyr с LIVY:

  • моя локальная станция Windows в сети зона A
  • удаленный сервер Linux с R в сети зона B

Кластер (Cloudera) находится в зоне B . Когда я запускаю следующий код на сервере Linux в той же зоне, что и кластер , все в порядке : 

library(sparklyr)
library(dplyr)
library(DBI)
sc <- spark_connect(master = "http://<my_cluster_and_domain>:8998", method = "livy")

Я попросил открыть в межсетевом экране между зонами A и B следующие порты: 8021 - 8090 и 8998 , но я не могу получить контекст Spark на моем Windows машина. Порт LIVY defulat 8998 установлен в кластере. Код выше в основном висит без ответа навсегда.

Перед включением LIVY я попробовал «нормальное» соединение со всеми возможными вариантами / параметрами, которые я мог себе представить, и результат всегда один и тот же - зависший вызов spark_connection без какого-либо ответа.

Я также могу открыть с этой машины Windows консоль LIVY ("http://my_cluster_and_domain:8998/ui") и отправить в LIVY задание Spark через запросы в Python, поэтому разрешено подключение к порту по умолчанию 8998 до FW.

На моей машине с Windows у меня R 3.5.3 (64-разрядная версия) и Sparklyr 1.0.0.

Спасибо за любые подсказки.

...