Как к рабочему узлу подключить SQL Server через SSH в SPARK - PullRequest
Новая
       44

Как к рабочему узлу подключить SQL Server через SSH в SPARK

0 голосов
/ 11 ноября 2019

У меня работает 5-разрядная искра в рабочем состоянии 

Node1: Worker
Node2: Worker
Node3: Worker
Node4: Worker
Node5: Master

5 Узел находится в локальной сети, общедоступен только IP-адрес Master Node.

Случай 1 : Мой узел SQL-Server разрешает соединение только в межсетевом экране для Node5. при выполнении задания с помощью spark я получил следующее сообщение: 

org.apache.spark.SparkException: 
Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in stage 0.0 (TID 3, 10.158.6.95, executor 2):
com.microsoft.sqlserver.jdbc.SQLServerException: The TCP/IP connection to the host 42.113.207.214, port 1433 has failed. 
Error: "Connection timed out: no further information. 
Verify the connection properties. 
Make sure that an instance of SQL Server is running on the host and accepting TCP/IP connections at the port. 
Make sure that TCP connections to the port are not blocked by a firewall.".

Случай 2 : когда мой узел SQL-Server отключает брандмауэр, тогда успешно выполняется задание с помощью spark

Я думаю, что у меня возникли проблемы при подключении к SQL-серверу со всех Worker при включении брандмауэра.

Как я могу настроить все Worker для подключения к SQL-серверу через SSH с Node5?

PS: Мой SQL-сервер не может включить соединение с Worker из-за другой сети.

...