В pyspark, Столкнувшись с проблемой для столбцов, отсутствующих во фрейме данных, при записи в выходной файл json в s3, у нас есть более 30 столбцов в фрейме данных после выполнения объединений, и мы не можем записать эти столбцы в вывод JSON файла в формате s3. есть ли какие-либо ограничения на запись столбцов в формате json.
мы использовали приведенную ниже команду для записи вывода.
Finaldf.write.json('S3://bucket/output/filename.json')
Пожалуйста, помогите мне с этим
Спасибо