Как создать Spark Dataframe (v1.6) на защищенной Hbase Table?

Question

Я пытаюсь создать искровой фрейм данных на существующей таблице HBase (HBase защищен через Kerberos). Мне нужно выполнить несколько операций Spark Sql над этой таблицей.

Я попытался создать RDD для таблицы Hbase, но не смог преобразовать его в фрейм данных.

Answer 1

Вы можете создать внешнюю таблицу куста с помощью обработчика хранилища HBase, а затем использовать эту таблицу для выполнения ваших запросов spark-sql.

Создание внешней таблицы улья:

CREATE TABLE foo(rowkey STRING, a STRING, b STRING)
STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’
WITH SERDEPROPERTIES (‘hbase.columns.mapping’ = ‘:key,f:c1,f:c2’)
TBLPROPERTIES (‘hbase.table.name’ = ‘bar’);

Спарк-SQL: val df = spark.sql («ВЫБРАТЬ * ИЗ ФУМА, ГДЕ…»)

Примечание: здесь искра - SparkSession