Ядра Pyspark / Pyspark не работают в ноутбуке Jupyter

Question

Здесь установлены ядра:

 $jupyter-kernelspec list


Available kernels:
  apache_toree_scala    /usr/local/share/jupyter/kernels/apache_toree_scala
  apache_toree_sql      /usr/local/share/jupyter/kernels/apache_toree_sql
  pyspark3kernel        /usr/local/share/jupyter/kernels/pyspark3kernel
  pysparkkernel         /usr/local/share/jupyter/kernels/pysparkkernel
  python3               /usr/local/share/jupyter/kernels/python3
  sparkkernel           /usr/local/share/jupyter/kernels/sparkkernel
  sparkrkernel          /usr/local/share/jupyter/kernels/sparkrkernel

Создан новый блокнот, но с ошибками

The code failed because of a fatal error:
    Error sending http request and maximum retry encountered..

Тамв консоли jupyter

отсутствует сообщение [об ошибке]

Answer 1

Если вы используете magicspark для подключения ноутбука Jupiter, вам также следует запустить Livy, API-сервис, используемый magicspark для связи с вашим кластером Spark.

1. Скачать Livy из Apache Livy и разархивируйте его
2. Убедитесь, что в качестве среды SPARK_HOME задан каталог установки Spark
3. Запустите сервер Livy с помощью <livy_home>/bin/livy-server в оболочке / командной строке

Теперь вернитесь к своей записной книжке, у вас должна быть возможность запустить искровой код в ячейке.