KernelRestarter: перезагрузка не удалась в jupyter, ядро ​​умерло

Question

[I 10:43:53.627 NotebookApp] 启动notebooks 在本地路径: /opt/soft/recommender/jupyter

[I 10:43:53.627 NotebookApp] 本程序运行在: http://10.48.204.120:8888/

[I 10:43:53.627 NotebookApp] 使用control-c停止此服务器并关闭所有内核(两次跳过确认).

[W 10:43:53.628 NotebookApp] 没有找到web浏览器: could not locate runnable browser.

[I 10:44:11.697 NotebookApp] Kernel started: 7ea0717b-b85b-44b1-bd10-7a2079b24d94

[I 10:44:11.708 NotebookApp] 302 GET /notebooks/doc/source/images/als-diagram.png (10.252.183.252) 6.63ms

[I 10:44:14.691 NotebookApp] KernelRestarter: restarting kernel (1/5), new random ports

[I 10:44:17.719 NotebookApp] KernelRestarter: restarting kernel (2/5), new random ports

[I 10:44:20.746 NotebookApp] KernelRestarter: restarting kernel (3/5), new random ports

[I 10:44:23.774 NotebookApp] KernelRestarter: restarting kernel (4/5), new random ports

[W 10:44:26.800 NotebookApp] KernelRestarter: restart failed

[W 10:44:26.801 NotebookApp] Kernel 7ea0717b-b85b-44b1-bd10-7a2079b24d94 died, removing from map.

[W 10:45:11.836 NotebookApp] Timeout waiting for kernel_info reply from 7ea0717b-b85b-44b1-bd10-7a2079b24d94

[E 10:45:11.839 NotebookApp] Error opening stream: HTTP 404: Not Found (Kernel does not exist: 7ea0717b-b85b-44b1-bd10-7a2079b24d94)

[I 10:46:11.948 NotebookApp] Saving file at /notebooks/elasticsearch-spark-recommender.ipynb

Я пытаюсь запустить ноутбук jupyter через pyspark, используя команду:

PYSPARK_DRIVER_PYTHON="jupyter" PYSPARK_DRIVER_PYTHON_OPTS="notebook"
../spark-2.2.0-bin-hadoop2.7/bin/pyspark --driver-memory 4g --driver-class-path /opt/soft/recommender/spark/elasticsearch-hadoop-5.3.0/dist/elasticsearch-spark-20_2.11-5.3.0.jar

Я могу открыть jupyter через удаленный браузер, но из-за сбоя перезапуска ядра я не могу запустить демонстрационную версию python с помощьюjupyter.

Версия Python - 3.5.0.Jupyter и ipykernel все современные.prompt-toolkit версия 1.0.15.

Если я обновлю prompt-toolkit версию до 2.0.4, то запуск pyspark вызовет много сообщений об ошибках.

Как это исправить?

Answer 1

Я решил проблему с помощью этой команды:

sudo -H pip3 install fs
sudo -H pip3 install prompt-toolkit --force-reinstall
pip3 install prompt-toolkit --force-reinstall

Answer 2

Я исправил это другими способами: переустановил python, переустановил pip и другой moudule, например jupyter m tmdbsimple seasticsearch и т. Д.

Но эта ошибка, я думаю, нехватка памяти, потому что при загрузкемного данных анализа, эта информация об исключении появится снова, я также пытаюсь развернуть es и spark отдельно и искать другие решения

Если у вас есть лучший способ избежать диагностики, пожалуйста, оставьте мне сообщение

Answer 3

Проблема полностью решена.После поиска я потерял элемент конфигурации python при настройке переменной среды spark2.2.0, что привело к ошибке перезапуска ядра.Конфигурация переменной среды выглядит следующим образом:

export PYTHONPATH = $ SPARK_HOME / python /: $ PYTHONPATH

export PYTHONPATH = $ SPARK_HOME / python / lib / py4j-0.10.4-src.zip: $ PYTHONPATH

И вы также можете попробовать переустановить библиотеку "sudo pip install py4j" и низкоуровневую библиотеку "sudo pip install --upgrade numpy == 1.13.0".После решения интегрированная система может работать бесперебойно и проводить матричный анализ

Answer 4

I've updated it : pip install --upgrade prompt-toolkit==2.0.4 （old is 1.0.15）
pip install --upgrade ipython=7.0.1   （old is 6.5.0）
pip install --upgrade jupyter-console=6.0.0  （old is 5.2.0）

However, the above problems are not solved, and the above information remains unchanged