Elasticsearch с Spark, создание индекса Dynami c на основе столбца данных

Question

У меня есть фрейм данных spark, в котором есть столбец с именем "name". Имя может иметь разные значения в одном кадре данных. Когда я записываю свои данные вasticsearch, используя spark (scala), я хочу записать данные в разные индексы, основываясь на значении столбца «name».

dataframe.saveToEs("index-name")

SaveToEs ожидает строку, я ищу что-то в строках:

dataframe.saveToEs(col(""))

или что-то подобное, где я могу присвоить значение во время записи.

Answer 1

Mythi c,

Я только что видел в документации, вы можете использовать что-то вроде этого:

rdd.saveToEs("my-collection-{media_type}/doc")

, что позволяет вам:

Сохраните каждый объект на основе его шаблона ресурса, в этом примере на основе media_type. Для каждого документа / объекта, который должен быть написан ,asticsearch-had oop извлечет поле media_type и использует его значение для определения целевого ресурса.

Источник: https://www.elastic.co/guide/en/elasticsearch/hadoop/master/spark.html#spark -write -dyn- scala