Почему мой клиент Dask показывает ноль рабочих, ядер и памяти?

Question

Я использую Dask, развернутый с помощью Helm в кластере Kubernetes в Kubernetes Engine на GCP.Моя текущая настройка кластера состоит из 5 узлов, каждый из которых имеет 8 процессоров, 30 ГБ:

Я запустил ноутбук с именем 05-nyc-taxi.ipynb, что привело к гибели рабочих.

Когда я перезапустилКлиент Dask показывает, что у меня теперь ноль рабочих и ноль памяти:

Однако, когда я запускаю kubectl get services и kubectl get pods, он показываетчто мои модули и службы работают:

Есть идеи, почему это так?

Answer 1

Когда вы перезапускаете клиент, он убивает всех рабочих и начинает создавать новых. Этот процесс является асинхронным, но рендеринг объекта клиента происходит немедленно - поэтому в этот момент нет рабочих. Вы можете визуализировать клиентский объект снова (и снова) позже:

In[]:  client

Или проверьте приборную панель.

Или, что еще лучше, вы можете визуализировать сам объект кластера, который, если в окружении установлены виджеты Jupyter, будет обновляться в режиме реального времени. Если вам не удалось назначить объект кластера ранее, он также будет доступен как client.cluster.

btw: почему вам нужно перезапустить кластер следующим образом?