PySpark: Как преобразовать поле метки времени UTC в CST (США / Центральный) с сохранением типа метки времени

Question

У меня есть следующий пример данных, приведенный ниже.Тип данных столбца: метка времени

datetime_utc
2017-03-29T23:20:00Z
2017-04-17T19:00:00Z

. Я хочу преобразовать из UTC (универсальное координированное время) в центральное стандартное время (CST).Я знаю, как это сделать в Python Pandas, но не знаю, как в Pyspark.

Answer 1

В кадре данных spark можно использовать функцию from_utc_timestamp() для преобразования UTC в другие часовые пояса.

import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()