Я хотел бы добавить новый столбец в мой фрейм данных Pyspark, используя функцию Window, где rowsBetween параметризованы значениями из столбцов из фрейма данных.
Я пытался date_window.rowsBetween(-(F.lit(2) + offset), -offset), но Spark сообщает me ValueError: Cannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when building DataFrame boolean expressions., чего я не ожидал в этом случае.
Есть ли способ параметризации rowsBetween с использованием значений из указанных столбцов c?