Сравните два разных RDD, используя scala

Question

У меня есть два RDD - один из файловой системы hdfs, а другой создан из строки, как показано ниже -

val txt=sc.textFile("/tmp/textFile.txt")

val str="This\nfile is\nallowed"
val strRDD=sc.parallelize(List(str))

Теперь я хочу сравнить два данных в этих двух СДР:

OR

Результат должен быть пустым СДР, но это не так. Может кто-нибудь объяснить, , как мне сравнить данные этих двух СДР ?

Answer 1

Значения двух созданных вами чисел выглядят одинаковыми, но не одинаковыми . Это очевидно, если вы сделаете подсчет элементов в обоих числах как

txt.collect().count(!_.isEmpty)
//res0: Int = 3

strRDD.collect().count(!_.isEmpty)
//res1: Int = 1

Результат должен быть пустым СДР, но это не так.

По этой причине результаты txt.subtract(strRDD) и strRDD.subtract(txt) не совпадают

val txt=sc.textFile("/tmp/textFile.txt") дает каждую строку как отдельный элемент в txt СДР

val str="This\nfile is\nallowed" val strRDD=sc.parallelize(List(str)) дает один \n отдельный элемент в strRDD RDD

Надеюсь, объяснение понятно