Azure HDInsight Jupyter ноутбук не работает

Question

Я развернул кластер HDInsight 3.6 Spark (2.3) в Microsoft Azure со стандартными конфигурациями (Расположение = Центральная часть США, Головные узлы = D12 v2 (x2) - 8 ядер, Рабочие узлы = D13 v2 (x4)) - 32 ядра).

Запустите блокнот Jupyter, и при выборе спарк ноутбука выдает странную ошибку, которую я не могу понять.

Answer 1

Команда HDInsight находится в процессе самоисцеления для решения этой проблемы. После того, как действие по самовосстановлению было развернуто, сервис Jupyter на затронутых кластерах должен быть запущен снова, чтобы изменения вступили в силу. Я буду обновлять эту ветку по мере развертывания исправления.

Answer 2

Я решил ту же проблему в 2 этапа:

1. Подключиться к головному узлу через s sh и изменить содержимое файла - /usr/bin/anaconda/lib/python2.7/ сайт-пакеты / nbformat / _version.py. заменить 5 на 4 (sudo vim ..)

Перезапустите сервис Jupyter через Ambari

Answer 3

Я на той же лодке, что и ты, и это было неприятно. Я не мог заставить ноутбук jupyter работать на azure. Но я смог запустить команды spark через оболочку pyspark. Мой опыт в этом блоге

https://krishansubudhi.github.io/datascience/2020/01/12/hdinsight.html

Однако мне удалось открыть блокнот jupyter с помощью AWS. В конце поста блога есть раздел об этом.

Answer 4

Код для преобразования ноутбука Jupyter в формат v5 , который поддерживается только в Python 3 .

Вам необходимо использовать python 3.5 + встроенная среда анаконды или настройка виртуальной python 3 среды