Разъем Spark Hbase (SHC) не возвращает никаких данных из таблицы HBase - PullRequest
Новая
       15

Разъем Spark Hbase (SHC) не возвращает никаких данных из таблицы HBase

0 голосов
/ 24 апреля 2019

Я следую базовому примеру коннектора spark hbase, чтобы прочитать таблицу HBase в версии 2.2.0 оболочки spark2.Похоже, код работает, но когда я запускаю команду df.show (), я не вижу никаких результатов, и кажется, что она работает вечно. 

import org.apache.spark.sql.{ DataFrame, Row, SQLContext }
import org.apache.spark.sql.execution.datasources.hbase._

val sqlContext = new org.apache.spark.sql.SQLContext(sc); 

def catalog = s"""{
         |"table":{"namespace":"default", "name":"testmeta"},
         |"rowkey":"vgil",
         |"columns":{
            |"id":{"cf":"rowkey", "col":"vgil", "type":"string"},
           |"col1":{"cf":"pp", "col":"dtyp", "type":"string"}
         |}
       |}""".stripMargin


def withCatalog(cat: String): DataFrame = { sqlContext.read.options(Map(HBaseTableCatalog.tableCatalog->cat)).format("org.apache.spark.sql.execution.datasources.hbase").load()}

val df = withCatalog(catalog)

df.show()

df.show () также не даст никакоговывод ни какой ошибки.Он будет работать вечно.

Кроме того, как я могу выполнить запрос для диапазона ключей строки.

Вот проверка таблицы тестирования HBase. 

hbase(main):001:0> scan 'testmeta'
ROW                                 COLUMN+CELL                                                                                            
 fmix                            column=pp:dtyp, timestamp=1541714925380, value=ss1                                                     
 fmix                            column=pp:lati, timestamp=1541714925371, value=41.50                                                   
 fmix                            column=pp:long, timestamp=1541714925374, value=-81.61                                                  
 fmix                            column=pp:modm, timestamp=1541714925377, value=ABC                                                                                                   
 vgil                            column=pp:dtyp, timestamp=1541714925405, value=ss2                                                     
 vgil                            column=pp:lati, timestamp=1541714925397, value=41.50

Я следил за некоторыми решениями в Интернете, но, к сожалению, не смог получить данные из HBase.

Заранее спасибо за помощь!

1 Ответ

1 голос
/ 25 апреля 2019

Публикация моего ответа после большого количества проб, поэтому я обнаружил, что добавление опции --conf для запуска spark shell помогло мне подключиться к HBase. 

spark2-shell --master yarn --deploy-mode client --packages com.hortonworks:shc-core:1.1.1-2.1-s_2.11,it.nerdammer.bigdata:spark-hbase-connector_2.10:1.0.3 --repositories http://repo.hortonworks.com/content/groups/public/ --conf spark.hbase.host=192.168.xxx.xxx --files /mnt/fs1/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/share/doc/hbase-solr-doc-1.5+cdh5.13.0+71/demo/hbase-site.xml

Тогда следующий фрагмент кода может получить значение для одного квалификатора столбца. 

val hBaseRDD_iacp = sc.hbaseTable[(String)]("testmeta").select("lati").inColumnFamily("pp").withStartRow("vg").withStopRow("vgz")      
object myschema {
      val column1 = StructField("column1",  StringType)
      val struct = StructType(Array(column1))
    }


val rowRDD = hBaseRDD.map(x => Row(x))
val myDf = sqlContext.createDataFrame(rowRDD,myschema.struct)  
myDf.show()
...