Как реализовать условие EXISTS как SQL в spark Dataframe

Question

Мне интересно знать, как я могу реализовать sql как существующее предложение в искровом Dataframe.

Answer 1

Если сравниваемые данные маленькие, как широковещательный список, вы можете использовать -

df.filter(col("columnName").isin(list...) === true)

Answer 2

LEFT SEMI JOIN эквивалентно функции EXISTS в Spark.

val cityDF= Seq(("Delhi","India"),("Kolkata","India"),("Mumbai","India"),("Nairobi","Kenya"),("Colombo","Srilanka")).toDF("City","Country")

val CodeDF= Seq(("011","Delhi"),("022","Mumbai"),("033","Kolkata"),("044","Chennai")).toDF("Code","City")

val finalDF= cityDF.join(CodeDF, cityDF("City") === CodeDF("City"), "left_semi")