Как создать пользовательский рабочий Dask с импортом

Question

Я настраиваю Dask и могу отлично использовать dask для многопроцессорной обработки.

Однако у меня возникают проблемы, когда я хочу использовать предварительно настроенных рабочих Dask. Они не имеют того же импорта, что и мой основной процесс.

Мне было интересно. Как добавить пользовательский импорт в рабочих, работающих с напитками, чтобы все фьючерсы, обращающиеся к этим работникам, могли работать эффективно.

Answer 1

В идеале все сотрудники Dask должны иметь одинаковую программную среду. Обычно это гарантировано вне Dask с образами Docker или с сетевой файловой системой (NFS). Есть и другие решения, такие как Client.upload_file, которые могут быть полезны для небольших скриптов.