Есть ли способ получить диагностические данные Dask, кроме приборной панели для Dask.distributed client?
Dask уже предоставляет хороший Bokeh dashboard, где он отображает довольно много диагностической информации. Однако я хочу не графики, а их значения. Нечто подобное, наряду с отметкой времени, значением прогресса, использованием процессора и памяти. Я хотел бы сохранить эти значения в базе данных для моих собственных целей мониторинга.
До сих пор я пытался использовать функцию Dask.distributed.get_task_stream(), она предоставляет информацию о работниках в списке, но я хотел бы получить в потоковом режиме, что именно показывает график Task Stream на приборная доска.
Примечание: существует пакет с именем dask.diagnostics, и оттуда вы можете импортировать ProgressBar, Profiler(), ResourceProfiler() и т. Д. Однако, насколько я понимаю, они предназначены только для single machine scheduler и не для distributed scheduler. Я прав? Или я могу использовать их для распределенной среды?