Как мне конвертировать метку времени в формат unix с помощью pyspark

Question

У меня есть фрейм данных со значениями меток времени, например: 2018-02-15T11: 39: 13.000Z Я хочу иметь его в формате UNIX, используя Pyspark.

Я пробовал что-то вроде data = datasample.withColumn('timestamp_cast', datasample['timestamp'].cast('date')), ноЯ теряю много информации, так как я получаю день / месяц / год только тогда, когда у меня есть миллисекунды в моем источнике.

Результат: 2018-02-15

Любая идея получить формат Unix и сохранитьточность?Спасибо!

Answer 1

Вы можете использовать встроенный unix_timestamp следующими способами:

from pyspark.sql.functions import unix_timestamp
df = df.withColumn('unix', unix_timestamp('timestamp'))

или

df = df.selectExpr('unix_timestamp(timestamp)')