Как запускать команды bash через pyspark?

Question

Я пытаюсь запускать команды bash на spark через Python.

Мой простой текущий код выглядит следующим образом:

import subprocess

print("Test start")
subprocess.Popen("conda install numpy=1.15.2 -n python35env--yes", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE).wait()
print("Test end")

Приведенный выше код успешно выполняется, и я вижу,и операторы печати "Test start" и "Test end", но пакет numpy не устанавливается в среде python35env.

Я что-то упустил для запуска команды conda install bash в Sparkрабочие узлы? даже на узле драйвера?

Answer 1

Вы можете попробовать запустить его из каталога исполняемых файлов. По умолчанию подпроцесс запускает его из системы.

subprocess.Popen("conda install numpy=1.15.2 -n python35env--yes", shell=True, stdout=subprocess.PIPE,
                     stderr=subprocess.PIPE, cwd = 'your conda excutable path')