Хранение пакетов Python в HDFS для Livy PySpark - PullRequest
0 голосов
/ 15 ноября 2018

Я отправляю задания PySpark в кластер через Livy. В настоящее время зависимые пакеты Python, такие как NumPy, Pandas, Keras и т. Д., Установлены на всех датододах. Интересно, можно ли все эти пакеты хранить централизованно в HDFS и как вы можете настроить Livy, PySpark для чтения их из HDFS, а не из этого датодода.

...