Как записать данные с нулевыми значениями в файл json, используя фрейм данных azure pyspark?

Question

Я использую следующий способ записи данных в json файлы, но столбец с нулевыми значениями игнорируется:

dfAllData.write.format("json").save("/mnt/coi/DataModel")

#Merge Files
outfilename = "/dbfs/mnt/coi/FinalData/FinalData.json"
with open(outfilename, 'wb') as outfile:
    for filename in glob.glob("/dbfs/mnt/coi/DataModel/part-0*.json"):
        if filename == outfilename:
            # don't want to copy the output into the output
            continue
        with open(filename, 'rb') as readfile:
            shutil.copyfileobj(readfile, outfile)

Можно ли также задать запись нулевых значений. ?