Как получить список элементов в столбце A, которых нет в столбце B datafame в apache spark?

Question

У меня есть 2 datafame X, Y.X имеет столбец A, Y имеет столбец B. A, B имеет тип string.Как получить список элементов в столбце A, которых нет в столбце B ??

Или у меня есть строка S, и я хочу проверить, является ли S элементом в столбце A. Как проверить ??

пожалуйста, помогите мне!:( Я кодирую по scala!

Answer 1

Относительно вашего первого вопроса (отфильтруйте все элементы внутри DataFrame X, которых нет в DataFrame Y):

val X = Seq("1", "2", "3", "4", "5").toDF("A")
val Y = Seq("4", "5", "6", "7", "8").toDF("B")

X.except(Y).show()

Выход:

+---+
|  A|
+---+
|  3|
|  1|
|  2|
+---+

Ваш второй вопрос (проверка, существует ли строка S в столбце A в кадре данных X):

val lookFor = "3"
assert(X.where(s"A == '$lookFor'").count() > 0)

Надеюсь, это поможет: -)