Почему панель Dask не обновляется, когда я запускаю какой-то код? - PullRequest
Новая
       13

Почему панель Dask не обновляется, когда я запускаю какой-то код?

0 голосов
/ 04 апреля 2019

Я пытаюсь воссоздать поведение панели инструментов Dask, как показано на этом видео Youtube https://www.youtube.com/watch?time_continue=1086&v=N_GqzcuGLCY. Я вижу свою панель инструментов, но она не обновляется при выполнении вычислений.

Я запускаю все на своей локальной машине (Kubuntu 18.04). Я использовал анаконду для настройки своего окружения, включая

  • питон 2.7.14
  • Сумма 0,17,4
  • dask-core 0.17.4
  • боке 1.0.4
  • Торнадо 4.5.1

Я настроил свой планировщик из командной строки 

dask-scheduler
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Clear task state
distributed.scheduler - INFO -   Scheduler at:  tcp://192.168.1.204:8786
distributed.scheduler - INFO -       bokeh at:                     :8787
distributed.scheduler - INFO - Local Directory:      /tmp/scheduler-bYQe2p
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Register tcp://127.0.0.1:35007
distributed.scheduler - INFO - Starting worker compute stream, tcp://127.0.0.1:35007

... и рабочий тоже. 

 dask-worker localhost:8786
distributed.nanny - INFO -         Start Nanny at: 'tcp://127.0.0.1:36345'
distributed.worker - INFO -       Start worker at:      tcp://127.0.0.1:44033
distributed.worker - INFO -          Listening to:      tcp://127.0.0.1:44033
distributed.worker - INFO -              bokeh at:             127.0.0.1:8789
distributed.worker - INFO -              nanny at:            127.0.0.1:36345
distributed.worker - INFO - Waiting to connect to:       tcp://localhost:8786
distributed.worker - INFO - -------------------------------------------------
distributed.worker - INFO -               Threads:                          4
distributed.worker - INFO -                Memory:                   16.70 GB
distributed.worker - INFO -       Local Directory: /home/fergal/orbital/repos/projects/safegraph/dask/dask-worker-space/worker-QjJ1ke
distributed.worker - INFO - -------------------------------------------------
distributed.worker - INFO -         Registered to:       tcp://localhost:8786
distributed.worker - INFO - -------------------------------------------------

Тогда мой код, заимствованный из видео, 

from dask.distributed import Client
import dask.array as da

client = Client(processes=False)
print(client)

x = da.random.random((10000, 10000, 10), chunks=(1000,1000,5))
y = da.random.random((10000, 10000, 10), chunks=(1000,1000,5))
z = (da.arcsin(x) + da.arcsin(y)).sum(axis=(1,2))
z.visualize('eg.svg')
z.compute()

Код запускается и создает график с помощью graph-viz. Сервер bokeh доступен по адресу 127.0.0.1:8787/status и отображает большой синий блок в правом верхнем углу, как показано в первые несколько секунд видео. Но когда я запускаю свой код, веб-страница не обновляется, чтобы показать текущие вычисления, и при этом она не показывает никаких результатов, когда вычисление завершено. Я бы ожидал увидеть что-то похожее на то, что я вижу около 1:20 на видео.

Я, несомненно, пренебрегаю правильной настройкой чего-либо, но не могу найти никаких подсказок ни в документации, ни в переполнении стека. Так что я делаю не так?

1 Ответ

1 голос
/ 04 апреля 2019

Я нашел решение.

Обновите dask до 1.1.5, выключите dask-планировщик (и dask-worker).Я предполагаю, что моя проблема заключалась в том, что версия dask со стандартного канала conda устарела.Я скачал более новую версию с conda-forge

...