Блокнот Jupyter с поведением ядра Spark / pyspark после долгого простоя - PullRequest
0 голосов
/ 11 июня 2018

Ноутбуки Jupyter кажутся нестабильными после периода простоя, достаточного для того, чтобы у искровых исполнителей было время ожидания сердцебиения.

Здесь мы видим, что превышено время ожидания executor heartbeat:

enter image description here

Такое поведение отлично .Что не : не существует очевидного способа восстановить ноутбук: он просто зависает :

enter image description here

Как видно, * означает, что ядро ​​все еще думает, что ему нужно обработать эту ячейку.Это имело место в течение 9 минут - и фактическое время выполнения должно быть больше как 9 секунд .

Я перепробовал все в меню:

enter image description here

Попытка: restart Reconnect и даже Shutdown: ничего не влияет на состояние этой ячейки - что означаетНоутбук все еще «застрял».

Здесь мы видим, что Restart и Shutdown были получены на сервере jupyter:

enter image description here

Однако не влияет на эту "застрявшую" ячейку ..

Нужно ли просто закрыть ноутбук?В чем смысл всех этих пунктов меню в этом случае ??

...