Как обновить Python версию на Qubole?

Question

Текущая версия на Qubole - 3.5.3, и некоторые пакеты, такие как PyMC3 и будущий XGBoost, нуждаются в более высоких версиях. Как мне обновить? И повлияет ли это на настройки других кластеров?

сообщение об ошибке

Answer 1

Существует несколько вариантов:

Если вы используете среды, вы можете обратиться в службу поддержки Qubole и получить последнюю версию, которая поставляется с Python 3.7. Однако это повлияет на весь кластер и не будет ограничиваться вашей работой.

Если вы управляете своими пакетами самостоятельно, вы можете установить miniconda с Python 3.7 через узел bootstrap и затем укажите свою работу на использование этой среды.

pushd /tmp
wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
chmod +x Miniconda3-latest-Linux-x86_64.sh
./Miniconda3-latest-Linux-x86_64.sh -bfp /media/ephemeral0/py_37_env

Затем вы можете использовать свойство Spark spark.pyspark.python, чтобы указать вашу работу на использование этой среды миниконда. Возможно, вам придется переустановить зависимости соответственно.