Использование al oop для фильтрации столбца фрейма данных Pyspark sql - PullRequest
0 голосов
/ 07 августа 2020

Я работаю с историческими данными COVID-19 и ищу способ использовать al oop для фильтрации фрейма данных по значению переменной столбца, например по дате. Как только данные будут отфильтрованы по дате, мои коды будут работать с отфильтрованными данными, обрабатывать их полностью, затем выбирать следующее значение и так далее до завершения. введите описание изображения здесь

datevalue_start = '2020-02-24'
datevalue_end   = '2020-08-06'
df_filtered = df.filter(df.Covid19date == datevalue_start)

Коды для обработки с отфильтрованными данными выводить данные с отфильтрованной датой Go назад и используйте следующую дату и так далее un

Я пробовал какое-то время l oop безуспешно.

...