Как сохранить датафрейм в hbase (cloudera)? - PullRequest
Новая
       28

Как сохранить датафрейм в hbase (cloudera)?

0 голосов
/ 18 декабря 2018

Я создал программу на локальной машине в spark для сохранения кадра данных в hbase, как указано в здесь .Но я не уверен, как передать информацию о соединении в коде hbase, работающем на cloudera:

Код: 

def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("TrafficTracker")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)
    import sqlContext.implicits._
    val data = (0 to 255).map { i => HBaseRecord(i, "extra") }
    sc.parallelize(data).toDF.write.options(Map(
      HBaseTableCatalog.tableCatalog -> Catalog.catalog,
      HBaseTableCatalog.newTable -> "5")).format("org.apache.hadoop.hbase.spark ")
      .save()
  }

Примечание: я запускаю cloudera на ВМ и код налокальная машина

...