Как преобразовать строку в формат даты в спарк

Question

Я передал строку (datestr) функции (которая выполняет ETL на фрейме данных в искре с использованием scala API), однако в какой-то момент мне нужно отфильтровать фрейм данных к определенной дате что-то вроде:

df.filter(col("dt_adpublished_simple") === date_add(datestr, -8))

где datestr - это параметр, который я передал функции.

К сожалению, функция date_add требует тип столбца в качестве первого параметра. Может кто-нибудь помочь мне с тем, как преобразовать параметр в столбец или аналогичное решение, которое решит проблему?

Answer 1

Вероятно, вам нужно всего лишь использовать lit для создания строки столбца из вашего ввода строки . А затем используйте to_date, чтобы создать Дата Столбец из предыдущего.

df.filter(col("dt_adpublished_simple") === date_add(to_date(lit(datestr), format), -8))