сохранить фрейм данных Pyspark в Hbase - PullRequest
Новая
       51

сохранить фрейм данных Pyspark в Hbase

0 голосов
/ 05 декабря 2018

мой код для хранения данных в hbase.но я получаю так много ошибок.как определить df, есть ошибка, что "df не определен" 

catalog = {
    "table": {"namespace":"default", "name":"locdata"},
    "rowkey": "key",
    "columns": {
      "col0": {"cf":"rowkey", "col":"key", "type":"int"},
      "lat":{"cf":"data", "col":"lat", "type":"int"},
      "lon":{"cf":"data", "col":"lon", "type":"int"}
    }
  }

df.write
  .option("catalog",cat)
  .option("newtable","5"),
  .format("org.apache.spark.sql.execution.datasources.hbase"),
  .save(),
...