Как добавить текущую дату в качестве раздела в таблице кустов через PySpark - PullRequest
Новая
       2

Как добавить текущую дату в качестве раздела в таблице кустов через PySpark

0 голосов
/ 06 сентября 2018 
df2= df1.map(lambda x:x.split(',')).map(lambda x:Row(ct_id = x[0],ct_name = x[1],ct_submeffdt = x[2],ct_submexpdt = x[3])
df = sqlc.createDataFrame(df2)
sqlc.sql("USE rajadev")
df.write.partitionBy('current_date').saveAsTable("rajadev.states_table")

Если я добавлю current_date в df2 как current_date() = x[4], то df2 будет создано, но не сможет найти текущую дату в таблице, будет доступен только столбец current_date. Зачем? Спасибо за вашу помощь.

...