следующий код занимает около 7se c на MacBook 8 Intel Core i9:
from dask.distributed import Client, LocalCluster
cluster = LocalCluster(n_workers=8, threads_per_worker=1, processes=True)
client = Client(cluster)
res = []
for i in range(3000):
r = client.submit(lambda x: x * x, i)
res.append(r)
[i.result() for i in res]
В конце концов, мне нужно будет использовать более сложные лямбды с большим набором данных, но это просто пример не работает должным образом.