как использовать phoenix5.0 с предварительным просмотром spark 3.0 - PullRequest
0 голосов
/ 18 февраля 2020
      case "phoenix" =>{
        outputStream.foreachRDD(rdd=>{
          val spark=SparkSession.builder().config(rdd.sparkContext.getConf).getOrCreate()
          val ds=spark.createDataFrame(rdd,Class.forName(settings.BEAN_CLASS))
          ds.write.
            format("org.apache.phoenix.spark").
            mode(SaveMode.Overwrite).
            options(Map(
              "table" -> settings.OUTPUT_TABLENAME,
              "zkUrl" -> settings.ZK_URL,
              "zookeeper.znode.parent" -> settings.ZNODE_PARENT,
              "hbase.rootdir" -> settings.ROOT_DIR,
              "hbase.client.keyvalue.maxsize" -> "0")).
            save()
        })
      }

работает с spark2.2 и phoenix-4.12.0-HBase-1.2, но не работает с предварительным просмотром spark3.0 и phoenix-5.0.0-HBase-2.0, как это исправить?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...