Переход с Spark HBase на Google Dataproc и Bigtable

Question

У меня запущено задание HBase Spark в кластере AWS EMR.Недавно мы переехали в GCP.Я перенес все данные HBase в BigTable.Теперь я выполняю ту же работу Spark - Java / Scala в Dataproc.Задание Spark не выполняется, так как оно выглядит как spark.hbase.zookeeper.quorum.

Пожалуйста, дайте мне знать, как без изменения кода я могу заставить свою работу Spark успешно работать с BigTable.

С уважением, Neeraj Verma

Answer 1

Хотя BigTable использует те же принципы и тот же Java API, что и HBase, он не использует свой проводной протокол.Поэтому стандартный клиент HBase не будет работать (ошибка zookeeper выглядит так, как будто вы пытаетесь подключиться к BigTable через клиент HBase).Вместо этого вам нужно изменить свою программу, чтобы использовать BigTable-специфичный клиент .Он реализует те же интерфейсы Java, что и HBase, но требует наличия пользовательских jar-файлов google в classpath и нескольких переопределений свойств, чтобы включить его.