Я пытаюсь сохранить файл json в дейтаграмме, и мне нужно включить в столбец только те значения, которые не равны нулю. В файле только один столбец. Я пытался .option("column", isNotNull) .filter("column" is notNul) .dropna("column"), но ничего не работает. и я не могу найти документацию по удалению нулей при чтении файла json.
Может кто-нибудь помочь мне решить эту проблему, пожалуйста? Спасибо!