Загружать только часть таблицы HBase / Phoenix как данные Spark из - PullRequest
Новая
       26

Загружать только часть таблицы HBase / Phoenix как данные Spark из

1 голос
/ 28 июня 2019

Я использую следующий код в Spark для загрузки указанных столбцов моей таблицы HBase / Phoenix в DataFrame Spark.Я могу указать столбцы, которые хочу загрузить, но могу ли я указать, какие строки?Или я должен загрузить все строки?

import org.apache.hadoop.conf.Configuration
import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.phoenix.spark._

sc.stop()

val sc = new SparkContext("local", "phoenix-test")
val df = sqlContext.phoenixTableAsDataFrame(
     "TABLENAME", Array("ROWKEY", "CF.COL1","CF.COL2","CF.COL3"), conf = configuration
     )
...