Как создать пользовательский рабочий Dask с импортом - PullRequest
0 голосов
/ 31 октября 2019

Я настраиваю Dask и могу отлично использовать dask для многопроцессорной обработки.

Однако у меня возникают проблемы, когда я хочу использовать предварительно настроенных рабочих Dask. Они не имеют того же импорта, что и мой основной процесс.

Мне было интересно. Как добавить пользовательский импорт в рабочих, работающих с напитками, чтобы все фьючерсы, обращающиеся к этим работникам, могли работать эффективно.

1 Ответ

1 голос
/ 03 ноября 2019

В идеале все сотрудники Dask должны иметь одинаковую программную среду. Обычно это гарантировано вне Dask с образами Docker или с сетевой файловой системой (NFS). Есть и другие решения, такие как Client.upload_file, которые могут быть полезны для небольших скриптов.

...