Применяется ли переменная окружения PYSPARK_PYTHON только для вошедшего в систему пользователя? - PullRequest
0 голосов
/ 03 июня 2018

Это может быть больше вопросом Linux, но я запускаю задание Pyspark с UDF, который зависит от встроенного модуля для Python3 (не Python2).Таким образом, в основном рабочие бомбы, потому что исполнитель / драйвер работает на Python2.В любом случае, я хочу установить переменную окружения PYSPARK_PYTHON для использования Python3, но я нахожусь в системе, которую другие люди используют для выполнения заданий Pyspark.Я использую определенную учетную запись пользователя для выполнения своих заданий, поэтому я просто хочу убедиться, что если я установлю эту переменную PYSPARK_PYTHON, она будет применяться только к моей учетной записи, а не другим, на кого это может повлиять, если версия Python-исполнителя неожиданно из-за измененияменя это настраивает.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...