Ошибка: при записи фрейма данных pyspark в Habse - PullRequest
Новая
       16

Ошибка: при записи фрейма данных pyspark в Habse

0 голосов
/ 30 марта 2020

Я пытаюсь записать фрейм данных pyspark в Hbase. Ниже приведена ошибка.

Версии Spark и Hbase в моем кластере:

Версия Spark: 2.4.0 Версия Hbase: 1.4.8

Spark Submit 

 spark-submit --jars /tmp/hbase-spark-1.0.0.jar   --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11 --repositories http://repo.hortonworks.com/content/groups/public/ --files /etc/hbase/conf/hbase-site.xml to_hbase.py

ошибка:

enter image description here

Любая помощь будет высоко ценится!

1 Ответ

0 голосов
/ 10 апреля 2020

Это известная проблема - использование spark-habse-connector (shc) с spark2.4.
Существует исправление, которое сделал @dhananjay_patka.

Проверка: SHC С искрой 2,4 и его починка

...