Spark структура потоковой записи операций в couchbase? - PullRequest
0 голосов
/ 02 октября 2019

Я попытался записать данные в couchbase, используя потоковую структуру, я сослался на соединитель свечей 2.0, я объявил соединение couchbase в сеансе спарка, но я не могу соединиться с cocuhbase, я попробовал ниже, любая помощь будет признательна, спасибо заранее

SparkSession spark = SparkSession
  .builder()
  .appName("couch")
  .master("local[*]")
  .config("spark.couchbase.nodes", "127.0.0.1") 
  .config("spark.couchbase.bucket.mybucket", "123") 
  .config("com.couchbase.username", "Administrator")
  .config("com.couchbase.password", "password")
  .getOrCreate()

Dataset<row> df=....//dataset reading data from kafka

StreamingQuery query = df.writeStream
  .outputMode("complete")
  .option("checkpointLocation", "mycheckpointlocation")
  .option("idField", "value")
  .format("com.couchbase.spark.sql")
  .start();

query.awaitTermination();

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...