Я пытался добавить код Spark в существующий файл паркета, но приложение не работает.Вместо этого приложение создает новый файл паркета для каждого запуска.Это код, который я использовал
df.coalesce(1).write.partitionBy("name").mode("append").option("compression", "gzip").parquet("/Suresh bkf/Desktop/suresh")
Я четко понимаю, что добавление в файл паркета невозможно.Поэтому я ищу любой обходной путь или сервис AWS, который может добавить к существующему файлу паркета.