HBase Spark - связь с Spark 2.0 - PullRequest
0 голосов
/ 21 ноября 2018

Пытались записать данные в HBase, используя Spark & ​​Scala.Требование заключается в том, что - я должен установить TTL для записей HBase на основе метки времени столбца, полученного из бизнеса.

Я не могу скомпилировать свой код, подробности приведены ниже.

  1. Я использую HBase Spark Alpha 4 Connector (hbase-spark-2.0.0-alpha4.jar) для этой цели.
  2. Конвертированозначение временной метки столбца в Epoch Timestamp и пытается установить TTL на основе этого.
  3. Когда я пытаюсь выполнить тот же код в Spark Shell - он выполняется без проблем, и я могу видеть ожидаемый результатв HBase.
  4. Но когда я пытаюсь скомпилировать его в Eclipse - происходит сбой с приведенной ниже ошибкой.
[ERROR] error: missing or invalid dependency detected while loading class file 'HBaseContext.class'.    
[INFO] Could not access type Logging in package org.apache.spark,    
[INFO] because it (or its dependencies) are missing.

Может ли кто-нибудь предоставить входные данные оразрешить это?

1 Ответ

0 голосов
/ 19 марта 2019

В моем случае я перекомпилировал соединитель: https://github.com/apache/hbase-connectors.git с параметрами, основанными на моем проекте.Как:

mvn -Dspark.version=2.2.2 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install

Ошибка отсутствует.

Советы: идентификатор группы отличается от идентификатора группы в репозитории maven center

...