переносимая среда conda как бинарный тарбол - PullRequest
0 голосов
/ 17 октября 2018

Я пытаюсь создать портативную conda среду.Таким образом, мы можем архивировать и распространять его на другой сервер или несколько серверов позже.Место, где мы создаем среду и где она будет развернута позже, - это два разных места.Я заметил, что conda create и conda install оба помещают среду жесткого кода в shebang всех установленных сценариев под environment_path\bin - есть ли способ переопределить это?

Мы должны использовать местоположение развертывания, а не место сборки для этой среды в сценариях shebang bin/.

Также создано https://github.com/conda/conda/issues/7861

Отказ от ответственности: я в курсевозможность восстановления среды с использованием экспортированного файла yaml, но это не то, что мы ищем здесь.Мы хотим сделать среду conda распространяемой / переносимой как двоичный архив - местоположение развертывания известно, но оно не совпадает с местоположением сборки среды.

Ответы [ 2 ]

0 голосов
/ 18 октября 2018

Я только что обнаружил conda-pack, который, кажется, решает эту проблему напрямую

https://github.com/conda/conda-pack

conda-pack - это инструмент командной строки для создания перемещаемых сред conda.Это полезно для развертывания кода в согласованной среде, потенциально в месте, где python / conda еще не установлен .

Документация: https://conda.github.io/conda-pack/

Варианты использования :

  • Объединение приложения с его средой для развертывания
  • Упаковка среды conda для использования с Apache Spark при развертываниина YARN (см. здесь для получения дополнительной информации).
  • Упаковка среды conda для развертывания в Apache YARN.Один из способов сделать это - использовать Skein.
  • Архивирование среды в рабочем состоянии .

Обновление : Некоторые другие наши приложения PySpark используют среду conda в месте, которое доступно на всех узлах Hadoop (монтирование NFS), и оно работает очень хорошо для некоторыхсреды conda, у которых нет тонны зависимостей.

0 голосов
/ 17 октября 2018

Пакеты сохраняются в <conda_root>/pkgs.Вы можете скопировать эти файлы (а также скрипт установщика anaconda) на сервер развертывания, установить anaconda и запустить conda install <path_to_pkgs>/*.bz2.

...