Использование примитивного типа данных Java с SHC - PullRequest
Новая
       15

Использование примитивного типа данных Java с SHC

0 голосов
/ 29 апреля 2019

Когда я использую каталог ниже для получения отметки времени со значением: 1552413600000, SHC возвращает: 3545798771364410166.Почему это? 

val catalog = s"""{
    |"table": {
    |    "namespace": "default",
    |    "name": "Accounts",
    |    "tableCoder": "PrimitiveType"
    |},
    |"rowkey": "Key",
    |"columns": {
    |    "id": {"cf": "rowkey", "col": "Key", "type": "string"},
    |    "account": {"cf": "Meta", "col": "Account", "type": "string"},
    |    "timestamp": {"cf": "Meta", "col": "Timestamp", "type": "long"}
    |}
|}""".stripMargin

def withCatalog(catalog: String): DataFrame = {
    spark.sqlContext
    .read
    .options(Map(HBaseTableCatalog.tableCatalog -> catalog))
    .format("org.apache.spark.sql.execution.datasources.hbase")
    .load()
 }

val df = withCatalog(catalog)

df.show()
...