Я преобразовываю фрейм данных Python в фрейм данных искры со следующим кодом.Кажется, все работает отлично, за исключением того факта, что один из столбцов показывает дату.Это преобразуется в метку времени Unix.
Я пробовал следующее было, но ни одна из них не работает: 1. Преобразовать дату (которая ранее имела тип объекта) в datetime, используя pd.datetime 2. Преобразовать датук строковому типу данных 3. Определение схемы сначала и затем использование этой схемы для записи таблицы
Есть ли другой способ сделать это
spark = initialize_spark(app_name= 'caching test', cores_max = "16",
executor_memory =
"32g",PYSPARK_DRIVER_PYTHON='python2.7',PYSPARK_PYTHON='python2.7')
schema_name=getpass.getuser()
table_name = "JIRA_report_horizontal_20180110"
df_spark = spark.createDataFrame(horizontal)
table_string=schema_name+"."+ table_name
df_spark.write.saveAsTable(table_string,format='ORC',mode='append')
Я не могу показать весь код, потому что этоконфиденциальный.Может ли кто-нибудь помочь мне в этом?