Обновите документasticsearch с помощью Spark

Question

Я использую следующую команду для сохранения данных в упругом поиске с использованием искровой потоковой передачи.

val ES_CONFIGURATION = Map (ConfigurationOptions.ES_NODES -> "192.168.1.1", ConfigurationOptions.ES_PORT -> "9200")

val ES_CONFIG = ES_CONFIGURATION + (ConfigurationOptions.ES_MAPPING_ID -> «ключ») + (ConfigurationOptions.ES_HTTP_TIMEOUT -> «3s»)

  EsSparkSQL.saveToEs(DataFrame, indexname, ES_CONFIG)

Этим я перезаписываю весь документ, которыйЯ не хочу.

Я хочу обновить только поля, для которых существуют данные в этом фрейме данных.

Пожалуйста, предложите, Как этого добиться ...

Answer 1

Используйте es.mapping.id

, чтобы указать, какой документ будет обновляться:

EsSparkSQL.saveToEs(df, indexname, Map("es.mapping.id" -> "mappingColumn"))