распределенный dask файл конфигурации для dashboard_address

Question

Можно ли указать порт по умолчанию для панели инструментов Dask в файле конфигурации YAML? Так что туннелирование S SH может быть установлено для неслучайного порта. Я знаю, что могу сделать это так:

cluster = LocalCluster(dashboard_address='localhost:8899')

Но можно ли указать это значение по умолчанию в файле конфигурации?

Я пытался

dask.config.set({'distributed.dashboard_address': 'localhost:8899'})

, но новые кластеры будут по-прежнему выдает предупреждение о том, что порт 8787 по умолчанию занят (у меня на этом порту работает сервер RStudio) и обслуживает панель мониторинга на случайном порте.

Answer 1

Использование dask.config.set изменит значение только в текущем сеансе, но не обновит файлы конфигурации. Чтобы установить значения, которые будут видны всем процессам Dask, см. этот раздел документации. Ключи в файле YAML совпадают с аргументом / ключами, которые вы пытаетесь использовать. Очевидно, что на всех машинах, на которых вы хотите установить значение по умолчанию, должен быть файл конфигурации, присутствующий в расположении, которое Dask ожидает просмотреть (например, ~/.config/dask/*.yaml)

Поскольку эта страница описывается, вы также можете использовать среду переменные со специальными именами, если вам проще их настроить.