Я изучаю Spark, но не могу понять, как сделать следующее:
Я хочу вызвать список конечных точек REST API и обработать ответы в Spark с помощью Scala. Поэтому я создал СДР, содержащий список URL-адресов. Примерно так:
val response_rdd = url_rdd.map(url => scala.io.Source.fromURL(url).mkString)
Вопрос
Как я могу заставить Спарк звонить так каждую секунду? Я думаю, что мне нужна потоковая передача Spark, но какой поток я могу использовать для этого?
val sc = SparkSession.builder().master("local[*]").appName("my app" ).getOrCreate()
val ssc = new StreamingContext(sc.sparkContext, Seconds(1))
val myStream = ssc. ....?
Или потоковая передача Spark не подходит?
Заранее спасибо!