Azure HDInsight Jupyter и pyspark не работают

Question

Я создал кластер HDInsight на azure со следующими параметрами:

Spark 2.4 (HDI 4.0)

И я пробую учебник по HDInsights для Apache Spark с помощью PySpark Jupyter Notebook, и это работает просто отлично. Но с тех пор, как я перезагружаю ноутбук во второй раз или запускаю новый, и запускаю простые

from pyspark.sql import *

или другие команды, все они заканчиваются на

The code failed because of a fatal error:
    Session 7 did not start up in 180 seconds..

Some things to try:
a) Make sure Spark has enough available resources for Jupyter to create a Spark context. For instructions on how to assign resources see http://go.microsoft.com/fwlink/?LinkId=717038
b) Contact your cluster administrator to make sure the Spark magics library is configured correctly.

После это я тоже пробовал pyspark с s sh. Когда я подключился к кластеру через s sh и запустил

$ pyspark

Он показывает следующую информацию

SPARK_MAJOR_VERSION is set to 2, using Spark2
Python 2.7.12 |Anaconda custom (64-bit)| (default, Jul  2 2016, 17:42:40)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-1)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Anaconda is brought to you by Continuum Analytics.
Please check out: http://continuum.io/thanks and https://anaconda.org
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

и застрял прямо там.

Мне было интересно Если я пропустил какую-либо операцию? или это ошибка или что-то. И как я мог решить эту проблему?

Answer 1

Согласно моим наблюдениям, вы получите это сообщение об ошибке, когда у вас возникнет проблема с примером службы «YARN»: служба YARN остановлена.

ОШИБКА: Сначала я остановил «YARN» ”Services.

Теперь я начал использовать блокнот Jupyter и при выполнении того же запроса получал то же сообщение об ошибке, что и ваш.

WALKTHROUGH: СООБЩЕНИЕ ОБ ОШИБКЕ

УСПЕХ: Все службы Ambari работают без проблем.

Для успешного выполнения запросов «Jupyter Notebook» убедитесь, что все службы работают без проблем.

WALKTHROUGH: СООБЩЕНИЕ УСПЕХА

++++++++++++++++++++++++++++++++++++++++++ +++++++++++++++++++++++++++

Вот шаги по созданию блокнота Jupyter и выполнению запросов на Azure Кластер HDInsight Spark:

Go до Azure Портал => От Кластерные панели управления => Выбрать Блокнот Jupyter => Создать Pyspark notebook => И выполнить запросы, как показано.

Вы можете использовать интерактив Apache для выполнения запросов Pyspark (Python):

Ссылка: https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-shell