Как отфильтровать RDD со списком последовательностей в scala

Question

Привет, я пытаюсь отфильтровать rdd с помощью Dynami c в одном выражении, чтобы можно было применить фильтр

У меня есть rdd и список ограничений, как показано ниже

    val contain_string = ("keymustexist1,alsokeyexmple2").split(",");

   var rdd2 = contain_string.map(each_value=>
     rdd.filter(l=>l.rdd.contains(each_value))
   )

Answer 1

Вы должны сделать фильтр и в фильтре и сделать содержит, а не делать карту и затем фильтровать. Вот код.

val contain_string = ("keymustexist1,alsokeyexmple2").split(",");
val lst = List("alsokeyexmple2","Hey","Hi")
val inputrdd = sc.parallelize(lst)
val op = inputrdd.filter(x => contain_string.contains(x)).collect