Как удалить столбцы на основе порогового значения NULL в каждом столбце в фрейме данных pyspark - PullRequest
0 голосов
/ 19 марта 2020

Ад, Можете ли вы помочь с удалением столбцов в фрейме данных Pyspark на основе процентного значения нулевых значений в каждом столбце.

в python это похоже на

# if the percentage of null values in each column is greater than 20% then delete the column
thresh = len(df) * .80 
df.dropna(thresh = thresh, axis = 1, inplace = True)

Как я могу сделать то же самое в pyspark?

...