python spark записывает временную метку как long вasticsearch - PullRequest
Новая
       11

python spark записывает временную метку как long вasticsearch

0 голосов
/ 22 мая 2018

Я читаю данные из источника jdbc и записываю их непосредственно в индекс эластичного поиска.Когда я запросил данные в ES, я увидел, что все поля меток времени в моем фрейме данных преобразованы в long

Ниже приведено сохранение 

 spark_df1.write.format("org.elasticsearch.spark.sql")
.option('es.index.auto.create', 'true')
.option("es.write.operation", "index")
.option('es.host','localhost')
.option('es.mapping.date.rich',"True")
.option('es.mapping.id', 'Ticket')
.mode("append")
.save("index_esche/type")

при запуске spark_df.printSchema () 

|-- Createdon: timestamp (nullable = true)
|-- Updatedon: timestamp (nullable = true)
|-- Resolvedon: timestamp (nullable = true)
...