Как паркет хранит метки времени в S3? - PullRequest
1 голос
/ 23 апреля 2020

Мои данные хранятся в S3 в формате file_name.snappy.parquet. при предварительном просмотре этого файла в S3 я получаю поле метки времени как: {"ModifiedOn": 4.535976891407963e+25}

это поле создается с использованием pyspark TimestampType. когда я вижу это поле в таблице Афины, оно отображается как 2020-04-18 21:55:41.000, как и ожидалось. Но когда я пытаюсь конвертировать его вручную, я получаю Monday, May 25, 3407 7:48:34.079 AM. (используя https://www.epochconverter.com/) Предполагая, что эта метка времени находится в наносекундах (1 миллиардная доля секунды).

Как я могу получить правильную дату для данного поля вручную?

...