Pyspark - запись данных в csv - PullRequest
Новая
       21

Pyspark - запись данных в csv

0 голосов
/ 10 июня 2018

Я пытаюсь записать фрейм данных pyspark в файл csv, но проблема, с которой я здесь сталкиваюсь, заключается в том, что поля типов даты преобразованы в IntergerType.

Spark version : 2.0.0

Код: 

  df.repartition(1).write.format("com.databricks.spark.csv").mode("overwrite")\
 .option("dateFormat", "mm/dd/yyyy hh:mm:ss").option("escape", "\\").option("header", "true").save(temp_csv_file)  


**Dataframe:**

Please note Date_1 field

+---------+-----+----+----------+------------+---------+
|Store_seq|Store|Dept|    Date_1|Weekly_Sales|IsHoliday|
+---------+-----+----+----------+------------+---------+
|   273048|   28|  49|2010-03-05|    16845.12|    FALSE|
|   323620|   34|  24|2010-06-25|     2123.00|    FALSE|
|   318053|   33|  60|2012-01-20|      176.00|    FALSE|
|   149167|   16|   9|2010-02-12|    11518.21|     TRUE|
|   292767|   30|  92|2011-07-08|    47044.41|    FALSE|
+---------+-----+----+----------+------------+---------+

**csv file:**

+---------+-----+----+------+------------+---------+
|Store_seq|Store|Dept|Date_1|Weekly_Sales|IsHoliday|
+---------+-----+----+------+------------+---------+
|   273048|   28|  49| 14673|    16845.12|    false|
|   323620|   34|  24| 14785|      2123.0|    false|
|   318053|   33|  60| 15359|       176.0|    false|
|   149167|   16|   9| 14652|    11518.21|     true|
|   292767|   30|  92| 15163|    47044.41|    false|
+---------+-----+----+------+------------+---------+
...