Получать потоковые данные из набора данных с помощью специального приемника [Spark Streaming] - PullRequest
1 голос
/ 14 октября 2019

Я новичок с Spark, и это библиотека!

У меня есть случай, когда мне нужно отправить набор данных на store() пользовательского получателя, а затем передавать данные с этого пользовательского получателя.

Я получаю набор данных таким образом в пользовательском классе получателя:

Dataset<Row> jdbcDF = spark.read()
.format("jdbc")
.option("url", "jdbc:mysql:dbserver")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.load();

Теперь я хочу использовать этот набор данных в качестве потоковых данных, поэтому мне нужно сохранить этот набор данных в store() класса Receiver:

store(jdbcDF);

Возможно ли потоковое вещание таким образом?

пс не используется Structured Streaming Programming

Заранее спасибо!

...