Распределение dask.delayed объектов по кластеру через dask?
dask.delayed
Кроме того, выполнение графа задач также распределено по кластеру?
Короткий ответ - да.
Пользователи взаимодействуют, подключая локальный сеанс Python к планировщику и отправляя работу, либо посредством отдельных вызовов простого интерфейса client.submit (function, * args, ** kwargs), либо с помощью больших сборов данных и параллельных алгоритмов родительская библиотека dask. Коллекции в библиотеке dask, такие как dask.array и dask.dataframe, обеспечивают легкий доступ к сложным алгоритмам и знакомым API, таким как NumPy и Pandas, в то время как простой интерфейс client.submit предоставляет пользователям настраиваемый контроль, когда они хотят выйти из консервированного «большого» данных »и отправьте полностью настраиваемые рабочие нагрузки.
Объекты с задержкой Dask включены в «параллельные алгоритмы родительской библиотеки Dask».
См. Документацию для получения дополнительной информации. http://distributed.dask.org/en/latest/