Как справиться с этой ошибкой, с которой я сталкиваюсь при попытке записи из SQL в Куду через Pyspark - PullRequest
Новая
       27

Как справиться с этой ошибкой, с которой я сталкиваюсь при попытке записи из SQL в Куду через Pyspark

0 голосов
/ 18 сентября 2018

Я хочу написать огромную таблицу из SQL в таблицу Kudu, я не могу записать ее в таблицу Kudu.

Со следующим кодом: 

kuduDF.write.format('org.apache.kudu.spark.kudu')
              .option('kudu.master',kudu_master)
              .option('kudu.table',"impala::"+kudu_database_name+"."+kudu_table_name).mode('append')
              .option("kudu.operation", operation_type)
              .save()

но яполучаю следующую ошибку:

Произошла ошибка при вызове o202.save.: java.lang.AbstractMethodError: org.apache.kudu.spark.kudu.DefaultSource.createRelation (Lorg / apache / spark / sql / SQLContext; Lorg / apache / spark / sql / SaveMode; Lscala / collection / immutable / Map; Lorg/ apache / spark / sql / Dataset;) Lorg / apache / spark / sql / sources / BaseRelation;

...