У меня есть дата, содержащая временные метки (unix):
df = spark.createDataFrame(
[
(1527853209,),
(1527852466,),
(1527852178,),
(1527851689,),
(1527852214,),
],
["date_time"]
)
, и я использую конфигурацию свечи ниже:
OPT_SPARK = {
'master': 'yarn',
'spark.executor.extraJavaOptions': '-Duser.timezone=GMT',
'spark.driver.extraJavaOptions': '-Duser.timezone=GMT',
}
Не изменяя параметры зажигания, я быхотел бы преобразовать мою метку времени из "GMT" в "CET - время в Центральной Европе".
Я попробовал следующий код:
from pyspark.sql import functions as F, types as T
from datetime import datetime
from dateutil import tz
def conv(in_ts):
from_zone = tz.gettz('GMT')
to_zone = tz.gettz('CET')
utc = datetime.utcfromtimestamp(in_ts)
utc = utc.replace(tzinfo=from_zone)
n_ts = utc.astimezone(to_zone).replace(tzinfo=None)
return n_ts
conv_udf = F.udf(conv, T.TimestampType())
Он отлично работает, когда я тестирую функцию,но не в искре:
# 1527853209 is GMT: Friday 1 June 2018 11:40:09
conv(1527853209)
datetime.datetime(2018, 6, 1, 13, 40, 9)
df.select(
"date_time",
F.col("date_time").cast("timestamp"),
conv_udf("date_time")
).show()
+----------+-------------------+-------------------+
| date_time| date_time| conv(date_time)|
+----------+-------------------+-------------------+
|1527853209|2018-06-01 11:40:09|2018-06-01 11:40:09|
|1527852466|2018-06-01 11:27:46|2018-06-01 11:27:46|
|1527852178|2018-06-01 11:22:58|2018-06-01 11:22:58|
|1527851689|2018-06-01 11:14:49|2018-06-01 11:14:49|
|1527852214|2018-06-01 11:23:34|2018-06-01 11:23:34|
+----------+-------------------+-------------------+
Я не мог найти встроенную функцию для достижения этой цели, поэтому использование UDF казалось лучшим решением, но, по-видимому, оно не работает, как ожидалось.
Ожидаемый результат :
+----------+-------------------+-------------------+
| date_time| date_time| conv(date_time)|
+----------+-------------------+-------------------+
|1527853209|2018-06-01 11:40:09|2018-06-01 13:40:09|
|1527852466|2018-06-01 11:27:46|2018-06-01 13:27:46|
|1527852178|2018-06-01 11:22:58|2018-06-01 13:22:58|
|1527851689|2018-06-01 11:14:49|2018-06-01 13:14:49|
|1527852214|2018-06-01 11:23:34|2018-06-01 13:23:34|
+----------+-------------------+-------------------+