Попытка Dask на AWS

Question

Я ученый, который изучает использование Dask в Amazon Web Services. У меня есть некоторый опыт работы с Dask, но нет опыта работы с AWS. У меня есть несколько больших пользовательских графиков задач и несколько коллег, которые, возможно, захотят сделать то же самое, если я покажу им, как. Я считаю, что мне следует использовать Kubernetes с Helm , потому что я попал в «Попробуйте Dask впервые на облачной системе, такой как Amazon, Google или Microsoft Azure» категория.

1. Я также попадаю в категорию «Динамическое создание личного и эфемерного развертывания для интерактивного использования». Должен ли я попробовать родной Dask-Kubernetes вместо Helm? Кажется, проще, но о компромиссах сложно судить.
2. В любом случае, как вы предоставляете работникам Dask унифицированную среду, включающую ваши собственные пакеты Python (не включенные ни в один индекс пакетов)? Решение, которое я нашел предполагает, что пакеты должны иметь индекс pip или conda.

Спасибо за любую помощь!

Answer 1

Использовать шлем или Dask-Kubernetes?

Вы можете использовать любой. Обычно начинать с Хелма проще.

Как включить пользовательские пакеты

Вы можете установить пользовательское программное обеспечение, используя pip или conda. Они не должны быть подключены к PyPI или каналу по умолчанию для Anaconda. Вы можете указать pip или conda на другие каналы. Вот пример установки программного обеспечения с использованием pip из github

pip install git+https://github.com/username/repository@branch

Для небольших пользовательских файлов вы также можете использовать метод Client.upload_file .