У меня есть фрейм данных pyspark со столбцами [дата, время, ad_id] , где ad_id - идентификатор объявления. Мне нужно рассчитать количество дней, в течение которых показывалось объявление (другими словами, рассчитать продолжительность между строками, сгруппированными по ad_id) и добавить этот новый столбец в фрейм данных.
Какую функцию лучше использовать?