Python Pyspark: фильтр за 1 день до текущей даты с использованием F.current_date ()

Question

Я хочу отфильтровать набор данных за все даты до определенной даты.В частности, за 1 день до текущей даты.

Я попробовал код ниже:

df = df.filter(F.col('date') <= F.current_date() - 1)

Но я получил следующую ошибку:

u"cannot resolve '(current_date() - 1)' due to data type mismatch: differing types in '(current_date() - 1)' (date and int)

Answer 1

F.date_sub метод должен работать:

df.filter(F.col('date') <= F.date_sub(F.current_date(), 1))