У меня странная проблема с окружающей средой. У меня есть два окружения conda base и rnn. Когда я набираю pyspark --master yarn, находясь в среде base, интерактивная оболочка запускается успешно, и я могу использовать веб-интерфейс YARN, чтобы убедиться, что оболочка PySpark отправлена в YARN.
Однако, когда я набираю source activate rnn и затем pyspark --master yarn, я вижу следующее исключение.
Исключение в потоке "main" java.lang.Exception: при запуске с
мастер 'пряжа' HADOOP_CONF_DIR или YARN_CONF_DIR должна быть установлена в
окружающая среда.
в org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments (SparkSubmitArguments.scala: 286)
в org.apache.spark.deploy.SparkSubmitArguments.validateArguments (SparkSubmitArguments.scala: 246)
в org.apache.spark.deploy.SparkSubmitArguments. (SparkSubmitArguments.scala: 119)
в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 129)
в org.apache.spark.deploy.SparkSubmit.main (SparkSubmit.scala)
Если переключиться обратно в среду base conda и ввести printenv, я также не вижу HADOOP_CONF_DIR или YARN_CONF_DIR. Меня смущает, где и как устанавливаются эти переменные среды и почему переключение с одной среды conda на другую может привести к исключению, описанному выше. Любые идеи о том, как решить эту проблему?