Ошибка при записи в Elastic search от spark с пользовательским идентификатором сопоставления - PullRequest
Новая
       27

Ошибка при записи в Elastic search от spark с пользовательским идентификатором сопоставления

0 голосов
/ 08 мая 2018

Я пытаюсь написать фрейм данных от spark до Elastic с пользовательским идентификатором сопоставления. и когда я делаю это, я получаю ошибку ниже. 

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 14.0 failed 16 times, most recent failure: Lost task 0.15 in stage 14.0 (TID 860, ip-10-122-28-111.ec2.internal, executor 1): org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: [DataFrameFieldExtractor for field [[paraId]]] cannot extract value from entity [class java.lang.String] | instance

и ниже - конфигурация, используемая для записи в ES. 

var config= Map("es.nodes"->node,
 "es.port"->port,
 "es.clustername"->clustername,
 "es.net.http.auth.user" -> login,
 "es.net.http.auth.pass" -> password,
 "es.write.operation" -> "upsert",
 "es.mapping.id" -> "paraId",
 "es.resource" -> "test/type")

df.saveToEs(config)

Я использую 5.6 версию ES и 2.2.0 Spark. Дайте мне знать, если вы, ребята, есть какое-то понимание этого.

Спасибо.!

...