Дропна в писапрк дает 0 результатов

Question

У меня есть датафрейм в искре, в котором отсутствуют значения. Я пытаюсь удалить столбцы с пропущенными значениями более чем на 50%. См. Код ниже:

frac =  fil_data.count() * .50
print(frac)
t_data = fil_data.dropna(thresh=390951)
print(t_data.count())

Счетчик отпечатков дает 0, почему это происходит? Как мы можем решить это

Я немного исследовал перед публикацией, все используют простую простую дропну (как = любой или все) вместо порога

Answer 1

Обратите внимание, что dropna всегда будет отбрасывать строки, а не столбцы.
Для правильного использования параметра thre sh см. Документы: thresh – int, default None If specified, drop rows that have less than thresh non-null values. This overwrites the how parameter.
Таким образом, вы отбрасываете все строки, имеющие менее 390951 ненулевых значений. значения, что, вероятно, все, так как у вас нет 400 КБ я полагаю