Настройка рабочих пакетов в Dask, лучшие практики - PullRequest
0 голосов
/ 13 марта 2020

Как лучше всего устанавливать пакеты на рабочих? Я видел предложенные способы здесь и здесь , но в документации Dask эта проблема не обсуждается.

Справочная информация. В моем случае я пытаюсь использовать задержку dask (или фьючерсы) для распараллеливания для l oop, который вызывает функцию; эта функция работает на Pandas данных с использованием Scipy.spatial. Каждый работник Dask должен был импортировать пакет scipy. Я не уверен, является ли это плохим способом распараллеливания этого кода, что объясняет относительную нехватку информации об этой проблеме. Я могу написать минимальный пример, если это поможет.

...