apache spark: добавить параметр JVM

Question

Я хочу использовать драйвер jdb c с apache spark, но есть странная проблема с jdb c, то есть Изменения часовых поясов . Эта проблема объясняет здесь .

. Решение предлагает добавить этот параметр

-Duser.timezone=UTC 

. Я выполнил поиск и обнаружил, что мне могут быть заданы следующие параметры:

spark.driver.extraJavaOptions
spark.executor.extraJavaOptions

но я не знаю, куда мне его добавить? В основных конфигурационных файлах?

spark-env.sh
spark-defaults.conf

в конфигурационных файлах slave?

spark-env.sh
spark-defaults.conf

Или в SparkConf прямо в моем приложении?

Answer 1

Вы можете установить его в SparkConf в вашем приложении или вы также можете установить его в spark-defaults.conf.

Для получения более подробной информации см. https://spark.apache.org/docs/latest/configuration.html.