Впервые в spark и java, поэтому, вероятно, будет выглядеть как наивный вопрос.
Я пытаюсь запустить приложение Stream Streaming, в котором я хочу установить свойство в файле .properties как:
log4j.appender.RollingAppenderU.File = <path-prefix>/<env_variable_user>
В основном я хочу установить значение пути, основываясь на переменной env env_variable_user, установленной на датоде.Я вижу env_variable_user, установленный в датоде, но кое-что, как он не принимает значение, установленное в переменной env.
Я попытался передать:
--conf "spark.env_variable_user=prestaging"
в spark-submit, но все еще не смогиспользуйте env_variable_user, чтобы установить свойство
пробовал установить значение как:
log4j.appender.RollingAppenderU.File=/dilkashm/DirectKafkaStreamingExecutor-app_${env:env_variable_user}.log
также как:
log4j.appender.RollingAppenderU.File=/dilkashm/DirectKafkaStreamingExecutor-app_${env_variable_user}.log
, но безуспешно.