Pyspark не работает и выдает исключение Java: процесс шлюза Java завершился перед отправкой номера порта

Question

Я начал работать с pyspark, я установил его и запустил на jupyter-notebook, вот проблема, с которой я сталкиваюсь из-за сбоя процесса шлюза.Я даже пытался установить $ JAVA_HOME, но это не сработало.Я хочу знать, в чем причина и как ее исправить.

Ошибка в файле jupyter-notebook

Exception: Java gateway process exited before sending its port number

.bashrc *

export PYTHONPATH=/usr/lib/python3.6

export SPARK_HOME='/home/junaid/spark-2.4.0-bin-hadoop2.7'
export PATH=$SPARK_HOME:$PATH
export PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export PYSPARK_PYTHON=python3

export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

export HADOOP_HOME=$HOME/hadoop-2.7.3
export HADOOP_CONF_DIR=$HOME/hadoop-2.7.3/etc/hadoop
export HADOOP_MAPRED_HOME=$HOME/hadoop-2.7.3
export HADOOP_COMMON_HOME=$HOME/hadoop-2.7.3
export HADOOP_HDFS_HOME=$HOME/hadoop-2.7.3
export YARN_HOME=$HOME/hadoop-2.7.3
export PATH=$PATH:$HOME/hadoop-2.7.3/bin

export JAVA_HOME=/usr/lib/jvm/java-8-oracle/
export PATH="$PATH:/opt/mssql-tools/bin"

notebook-code

from pyspark import SparkContext
sc = SparkContext("local")

Я даже пытался с

sc = SparkContext("local", "count app")

, но не работал.