Что происходит в пустом пространстве на панели управления потоком распределенных задач? - PullRequest
0 голосов
/ 07 февраля 2019

Ниже находится панель управления потоком задач.Что происходит в пустом пространстве?Это когда мой локальный экземпляр python instance / dask работает?Это когда GC или другой процесс происходит?

enter image description here

Я хочу выяснить, что происходит в этот период, чтобы я мог уменьшить пробелы.

1 Ответ

0 голосов
/ 08 февраля 2019

Вы правы, что пробел означает, что рабочие бездействуют в течение этих секунд.Принимая во внимание, что действия, блокирующие работника, коммуникация и десериализация, будут отображаться как прозрачные блоки красного и серого цвета, соответственно, пробел означает, что работникам ничего не дают на работу.

Основная причина, по которой это может произойтиявляется то, что вы отправляете большой график, содержащий очень много задач, в планировщик.Передача этого графа между клиентом и планировщиком может занимать время, и многие процессы в планировщике для принятия решения о том, где распределить работу, также могут занять некоторое время.Первый вариант более вероятен, и вам стоит подумать, можно ли что-нибудь сделать, чтобы уменьшить размер графа (например, больший размер чанка).

Существует возможность профилировать то, что занимает время в планировщике, хотя это обычно не предоставляется пользователям.Вы можете профилировать активность в клиенте, используя обычные инструменты профилирования Python.

...