Client.submit в Dask работает слишком медленно в локальном кластере - PullRequest
0 голосов
/ 06 апреля 2020

следующий код занимает около 7se c на MacBook 8 Intel Core i9:

from dask.distributed import Client, LocalCluster

cluster = LocalCluster(n_workers=8, threads_per_worker=1, processes=True)
client = Client(cluster)
res = []
for i in range(3000):
    r = client.submit(lambda x: x * x, i)
    res.append(r)
[i.result() for i in res]

В конце концов, мне нужно будет использовать более сложные лямбды с большим набором данных, но это просто пример не работает должным образом.

...