Введите данные в AWS Elasti c Поиск с использованием клея - PullRequest
Новая
       120

Введите данные в AWS Elasti c Поиск с использованием клея

0 голосов
/ 10 июля 2020

Я ищу решение для вставки данных в AWS Elasti c Поиск с использованием AWS Glue python или pyspark. Я видел Boto3 SDK для поиска Elasti c, но не смог найти никакой функции для вставки данных в поиск Elasti c. Может ли кто-нибудь помочь мне найти решение? Есть полезные ссылки или код?

1 Ответ

0 голосов
/ 10 июля 2020

Для клея aws вам необходимо добавить в задание дополнительную банку.

  1. Загрузить банку из https://repo1.maven.org/maven2/org/elasticsearch/elasticsearch-hadoop/7.8.0/elasticsearch-hadoop-7.8.0.jar
  2. Сохранить банку на s3 и передайте его в задание склеивания.
  3. Теперь при сохранении фрейма данных используйте следующее 
df.write.format("org.elasticsearch.spark.sql").\
         option("es.resource", "index/document").\
         option("es.nodes", host).\
         option("es.port", port).\
         save()

Если вы используете поиск aws managed elasti c, попробуйте установка значения true 

option("es.nodes.wan.only", "true")

Для получения дополнительных сведений о свойствах https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html

ПРИМЕЧАНИЕ Соединитель elasticsearch-spark совместим только с Spark 2.3 поскольку он предварительно собран на scala 2.11, в то время как Spark 2.4 и Spark 3.0 предварительно построен на scala 2.12

...