Как запустить спарк (Python) на удаленном сервере из Eclipse - PullRequest
Новая
       9

Как запустить спарк (Python) на удаленном сервере из Eclipse

0 голосов
/ 10 февраля 2019

можно запустить код pyspark, написанный локально в eclipse, на удаленном сервере, на котором установлены spark и hadoop

Я пробовал 

conf = SparkConf().setAppName("Spark Count").setMaster('spark://master-node-ip:7000')
sc = SparkContext(conf=conf)

, но выдает 

'Files\Python35\Lib\site-packages\pyspark\bin\..\jars""\' is not recognized as an internal or external command,
operable program or batch file.
Failed to find Spark jars directory.
You need to build Spark before running this program.
Traceback (most recent call last):
  File "D:\work\work spaces\SE\PyDev\main.py", line 7, in <module>
    sc = SparkContext(conf=conf)
  File "C:\Program Files\Python35\lib\site-packages\pyspark\context.py", line 115, in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
  File "C:\Program Files\Python35\lib\site-packages\pyspark\context.py", line 298, in _ensure_initialized
    SparkContext._gateway = gateway or launch_gateway(conf)
  File "C:\Program Files\Python35\lib\site-packages\pyspark\java_gateway.py", line 94, in launch_gateway
    raise Exception("Java gateway process exited before sending its port number")
Exception: Java gateway process exited before sending its port number
...