Как исправить «Исключение: процесс шлюза Java завершился перед отправкой номера порта» в Eclipse IDE

Question

Я пытаюсь подключить MySQL с помощью pyspark в среде pydev Eclipse IDE. Ошибка ниже:

Исключение: Процесс шлюза Java завершился перед отправкой своего номера порта

Я проверил правильность установки Java, а также установил PYSPARK_SUBMIT_ARGS в значение --master local[*] --jars path\mysql-connector-java-5.1.44-bin.jar pyspark-shell в windows-> Предпочтения-> Pydev-> Python Interpreter-> Environment.

Путь Java также установлен. Пробовал также установить его с помощью кода, но не повезло.

#import os
from pyspark import SparkContext
from pyspark import SparkConf

from pyspark.sql.context import SQLContext

#os.environ['JAVA_HOME']= 'C:/Program Files/Java/jdk1.8.0_141/'

#os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars D:/Softwares/mysql-connector-java-5.1.44.tar/mysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar pyspark-shell'

conf = SparkConf().setMaster('local').setAppName('MySQLdataread')

sc = SparkContext(conf=conf)

sqlContext = SQLContext(sc)

dataframe_mysql = sqlContext.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "XXXXX").option("user", "root").option("password", "XXXX").load()

dataframe_mysql.show()

Answer 1

Моя проблема была немного другой, я запускаю искру в spyder с окнами. когда я использую

from pyspark.sql import SQLContext, SparkSession

У меня возникла проблема, и я перешел по поисковым ссылкам Google, но не смог ее решить.

Затем я изменил импорт на:

from pyspark.sql import SparkSession
from pyspark import  SQLContext

и сообщение об ошибке исчезло.

Я работаю на Windows, anaconda3, python3.7, spyder. Надеюсь, это кому-нибудь пригодится.

Изменить:
Позже я обнаружил, что настоящая проблема заключается в следующем. Когда какая-либо конфигурация не работает должным образом, появляется то же исключение. Ранее я использовал 28 ГБ и 4 ГБ вместо 28 ГБ и 4 ГБ, и это вызвало все проблемы, которые у меня были.

from pyspark.sql import SparkSession
from pyspark import  SQLContext
spark = SparkSession.builder \
    .master('local') \
    .appName('muthootSample1') \
    .config('spark.executor.memory', '28g') \
    .config('spark.driver.memory','4g')\
    .config("spark.cores.max", "6") \
    .getOrCreate()