Я сгенерировал файл паркета с одним из типов данных столбца: datetime64.
Когда я читаю этот файл паркета в python, используя панд, используя команду ниже,
df = pandas.read_parquet(file_name,engine='auto')
тип данных отображается правильно как datetime64[ns], а также данные внутри него печатаются как 2019-10-03 00:30:00
Однако, когда я пытался прочитать тот же файл, используя искру
val df= sqlContext.read.parquet(file_name)
тип данных отображается как long и данные печатаются в формате эпохи 1570062600000
Может кто-нибудь сказать, в чем может быть проблема?
Спасибо