Spark SQL - Альтернатива для функции «содержит»

Question

У меня есть сценарий, в котором мне нужно найти существование строк в столбце dataframe внутри больших строк в другом столбце другого dataframe. Я использую Spark 2.4.4 и Scala 2.11.12 .

Answer 1

org.apache.spark.sql.Column имеет функцию содержимого, которую можно использовать для выполнения операции «Стиль строки содержит» между двумя столбцами, содержащими строку.

val df = //a dataframe buiktas a result of join and has 2 columns - c1, c2

df.filter(col("c1").contains(col("c2"))).show()