Как просмотреть панель инструментов Dask при работе на виртуальной машине? - PullRequest
Новая
       11

Как просмотреть панель инструментов Dask при работе на виртуальной машине?

0 голосов
/ 02 января 2019

Вот что я делаю сейчас:

  • С моего ноутбука Windows я подключаюсь к серверу Linux через Putty: IP-адрес 11.11.11.111

  • Startup Блокнот Jupyter: nohup jupyter notebook --ip=0.0.0.0 --no-browser &

    • Вывод терминала показывает, что блокнот Jupyter работает с:
    • http://(11.11.11.111 or 127.0.0.1):8889/?token=blahblahblah

  • Стартклиент одного компьютера в новой записной книжке: 

    from dask.distributed import Client
client = Client()

Печать client показывает, что панель мониторинга расположена в http://127.0.0.1:8787/status, однако я не могу найти панель мониторинга по этому URL-адресу.Я также попробовал http://11.11.11.111:8787/status, но это тоже не сработало.

Я все еще могу запускать все в своем ноутбуке с Dask Dataframes просто отлично, но я просто не могу понять, как просматриватьприборная панель.Bokeh установлено на сервере, и я запускаю Jupyter Notebook через Anaconda.

1 Ответ

0 голосов
/ 03 января 2019

Наконец-то разобрался с некоторым SSH-туннелированием.

Дополнительные сведения о проблеме:

  • Локальный компьютер - это ноутбук с ОС Windows
  • Удаленный сервер - это устройство CentOS

Цель на самом деле двоякая:

  1. Запустить Jupyter Notebook на удаленном сервере, который содержит код Dask

  2. Просмотр Dask Dashboard из кода, запущенного в Notebook

Вот шаги, которые я предпринял:

  1. В этом примере IP-адрес удаленного сервера:11.11.11.111

  2. Следуя некоторым инструкциям для Туннелирование портов , я использую 8001 в качестве порта источника и назначение localhost:8889

  3. После подключения к удаленному серверу (который имеет 16 ядер и 44,7 ГБ ОЗУ), я запустил это в терминале Putty: dask-worker tcp://11.11.11.111:8786 --memory-limit=auto --nthreads=1 --nprocs=16 &

  4. Запустите Jupyter Notebook на сервере: jupyter notebook --ip=0.0.0.0 --port=8889 --no-browser &

    a.После выполнения вышеуказанной команды вывод показывает, что ноутбук Jupyter работает на http://(hostname or 127.0.0.1):8889/?token=blahblahblah

    b.Открытие браузера и переход по указанному выше URL-адресу (http://hostname:8889/?token=blahblahblah) приводит к переходу на домашнюю страницу Jupyter Notebook

  5. Создайте новый блокнот и выполните следующий код: 

    import dask.dataframe as dd
from dask.distributed import Client
client = Client('11.11.11.111:8786')
print(client)

В выводе отображается панель управления 

    Client
    Scheduler: tcp://11.11.11.111:8786
    Dashboard: http://11.11.11.111:36124/status
    client = Client('11.11.11.111:8786')

    Cluster
    Workers: 16
    Cores: 16
    Memory: 44.70 GB

Теперь, набрав http://11.11.11.111:36124/status в окне браузера, вы попадете на панель мониторинга Dask.

...