Как перенести Anaconda env, установленную на одном компьютере, на сервер? - PullRequest
0 голосов
/ 18 июня 2020

Есть ли способ перенести / скопировать мой существующий env (в котором все уже установлено) на сервер?

$ conda env export > environment.yaml
  • Я использовал указанную выше команду для создания файла .yaml
  • Кто-нибудь может сказать, как я могу использовать этот файл на стороне сервера?

spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3
  1. Использование приведенной выше команды для запуска в локальной системе путем активации среды conda.
  2. Итак, мой следующий шаг - запустить тот же код на стороне сервера

1 Ответ

0 голосов
/ 22 июня 2020

Сначала нам нужно упаковать conda env, используя команду ниже

  1. Активируйте свой conda env, который вы хотите упаковать, а затем используйте команду ниже

    (your_conda_env) vishal@vishal-linux:~$ conda pack -n your_conda_env
    
  • После упаковки вашего env будет создана папка your_conda_env.tar.gz

  • Вы можете переместить эту папку на сервер (или любую другую машину ) и используйте команду ниже, чтобы запустить искровую работу

    PYSPARK_PYTHON=/home/vishal/your_conda_env/bin/python spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...