Спарк-подчинение на месо мастер висит - PullRequest
Новая
       72

Спарк-подчинение на месо мастер висит

0 голосов
/ 24 мая 2019

Я пытаюсь отправить искра на мастер мезо в режиме клиента.

Я использую пример из https://spark.apache.org/docs/latest/quick-start.html

"""SimpleApp.py"""
from pyspark.sql import SparkSession

logFile = "YOUR_SPARK_HOME/README.md"  # Should be some file on your system
spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
logData = spark.read.text(logFile).cache()

numAs = logData.filter(logData.value.contains('a')).count()
numBs = logData.filter(logData.value.contains('b')).count()

print("Lines with a: %i, lines with b: %i" % (numAs, numBs))

spark.stop()

Вот искра -submit команда

spark-submit --master mesos://HOST:5055 --deploy-mode client /Users/<username>/Documents/SimpleApp.py

Представление зависает, когда я уничтожаю отправку. Следующим является Traceback 

^CTraceback (most recent call last):
  File "/Users/<username>/Documents/SimpleApp.py", line 6, in <module>
    spark = SparkSession.builder.appName("SimpleApp").getOrCreate()
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/session.py", line 173, in getOrCreate
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/context.py", line 367, in getOrCreate
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/context.py", line 136, in __init__
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/context.py", line 198, in _do_init
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/context.py", line 306, in _initialize_context
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1523, in __call__
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 985, in send_command
  File "/Users/<username>/Documents/install/spark-2.4.2-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1152, in send_command
  File "/anaconda3/lib/python3.7/socket.py", line 589, in readinto
19/05/24 11:51:23 INFO DiskBlockManager: Shutdown hook called
    return self._sock.recv_into(b)
KeyboardInterrupt

То же самое работает, когда я отправляю на локальныйmesos i.e. mesos://localhost:5050/

Любая помощь в этом была бы полезна.

...