Dtream to Rdd в Искорно-Страминге

Question

У меня есть DStream[String,String], и мне нужно преобразовать его в RDD[String,String]. Есть ли способ сделать это? Мне нужно сделать, используя Scala язык.

Спасибо заранее !!

Answer 1

DStream - это дискретизированная последовательность RDD. Взгляните на API прямого потока.

Имея свой DStream, с помощью функции forEach вы можете применять преобразования для каждой СДР:

val yourStream: DStream[String] = //...

yourStream.forEachRDD{ rdd =>
   // your rdd transformations...
}

Вы можете посмотреть примеры здесь