Нельзя использовать временные метки для запросов на индексирование / обновление в ES 6.x и выше. Пожалуйста, удалите настройку [es.mapping.timestamp]

Question

Я использую Spark Structured Streaming для записи в Elasticsearch 6.2.0 Sink:

dataDf  
  .writeStream
  .outputMode(OutputMode.Append)
  .format("org.elasticsearch.spark.sql")
  .queryName("ElasticSink")
  .option("checkpointLocation", s"${s3Url}/checkpoint_elasticsearch")
  ...
  .option("es.mapping.id", "TransactionID")
  .option("es.mapping.timestamp", "InvoiceDateString")
  .start("pos-transactions/broadcast") //ES index

Однако Elasticsearch жалуется:

Невозможно использовать временные метки для запросов на индексирование / обновление в ES 6.x и выше. Пожалуйста, удалите настройку [es.mapping.timestamp]

Есть ли альтернативный вариант, который я могу использовать для объявления поля отметки времени?

Answer 1

В конце концов, я создал картографический документ, и это отлично сработало:

• https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html