Удалить индекс строки из PySpark DataFrame - PullRequest
0 голосов
/ 12 марта 2020

DataFrame and Code

Я не могу удалить первый ряд.

1 Ответ

2 голосов
/ 13 марта 2020

В дополнение к вашему решению с предложением where, вы также можете использовать их. Ваш отфильтрует только vendorID с \ r, они отфильтруют все строки со всеми nonon во всех других столбцах, независимо от того, какой у вас VendorID

Filter:

df.filter((' or '.join([''+x+' is not null' for x in df.columns if x !='VendorID'])))

Dropna :

df.dropna(how='all', subset=[x for x in df.columns if x!='VendorID'])
...