Это может быть больше вопросом Linux, но я запускаю задание Pyspark с UDF, который зависит от встроенного модуля для Python3 (не Python2).Таким образом, в основном рабочие бомбы, потому что исполнитель / драйвер работает на Python2.В любом случае, я хочу установить переменную окружения PYSPARK_PYTHON
для использования Python3, но я нахожусь в системе, которую другие люди используют для выполнения заданий Pyspark.Я использую определенную учетную запись пользователя для выполнения своих заданий, поэтому я просто хочу убедиться, что если я установлю эту переменную PYSPARK_PYTHON
, она будет применяться только к моей учетной записи, а не другим, на кого это может повлиять, если версия Python-исполнителя неожиданно из-за измененияменя это настраивает.