Удаление элементов NULL из массивов PySpark

Question

Как удалить пустые элементы из array(1, 2, null, 3, null)? Использование функции array_remove не помогает, когда мы хотим удалить элементы null.

Answer 1

Я использовал следующий трюк, используя функцию array_except():

SELECT array_except(array(1, 2, null, 3, null), array(null)) возвращает [1,2,3]