Фильтрация данных в фрейме Scala по столбцам массивов

Question

В моем фрейме данных scala есть столбец с типом данных array (element: String). Я хочу отобразить те строки кадра данных, в которых есть слово "привет" в этом столбце.

У меня есть это:

display(df.filter($"my_column".contains("hello")))

Я получаю ошибку из-за несоответствия данных. Там написано, что argument 1 requires string type, however, ' my: column ' is of array<string> type.

Answer 1

Вы можете использовать array_contains функцию

import org.apache.spark.sql.functions._

df.filter(array_contains(df.col("my_column"), "hello")).show