Как исправить «отсутствие или недопустимая зависимость, обнаруженная при загрузке файла класса« HBaseContext.class »» - PullRequest
0 голосов
/ 01 июня 2019

Я пытаюсь удалить некоторые записи из таблицы hbase на основе отдельного фрейма данных искры, связывающего только ключи строк. Однако код выдает эту ошибку сборки - «при загрузке файла класса« HBaseContext.class »обнаружена отсутствующая или недействительная зависимость»

Моя зависимость -

<groupId>org.apache.hbase</groupId>
<artifactId>hbase-spark</artifactId>
<version>2.0.0-alpha4</version>

Я пробовал htable.delete (), но он не удаляется при попытке запустить из spark-submit без каких-либо ошибок.

val hbaseContext = new HBaseContext(spark.sparkContext, conf)
    hbaseContext.bulkDelete[Array[Byte]](keysToDeleteFromHBase.map(record => Bytes.toBytes(record.getString(0))).rdd,
    TableName.valueOf(tableName),
    putRecord => new Delete(putRecord), 1000)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...