Функция, выполняемая в очереди заданий SGECluster, работает значительно медленнее, чем при обычном вызове - PullRequest
0 голосов
/ 28 апреля 2020

Замедление составляет около 3х. Я думаю, это потому, что по какой-то причине dask создает процесс для каждого ядра на узле, и это замедляет код, который фактически должен выполняться.

Код выглядит как

cluster = SGECluster(..)  # I've tried varying processes and cores with no success
cluster.scale_up(1)
client = Client(cluster)
while True:
    future = client.submit(func, *args)
    future.result()
...