Spark History - у временных меток журнала неправильный часовой пояс

Question

Когда я отправляю задание на машине с набором машин, расположенной в лондонском часовом поясе, Spark Master на приборной панели имеет правильное время, но на приборной панели сервера истории отображается время, которое на 1 час вперед, то есть по Гринвичу.Есть ли способ исправить это в Apache Spark?

Answer 1

Скорее всего, у ваших временных отметок в журнале нет "неправильного" часового пояса, но либо ваш искровой кластер был расположен в GMT, либо значение conf было установлено как:

spark.conf.set("spark.sql.session.timeZone", "GMT")

Измените эту строку явнов лондонский часовой пояс (BST?)

Или используйте необычную функцию from_utc_timestamp, которая позволяет вам указывать часовой пояс при преобразовании ts

. Также проверьте, указан ли ваш ts в миллисекундах, и установите -Duser.timezone вКонфигурация JVM spark.executor.extraJavaOptions