В настоящее время я сохраняю фрейм данных в файлы orc в Amazon S3, используя искру, например:
df.repartition("col1", "col2").write.mode("append").option("compression", "zlib").format("orc").partitionBy("col1","col2").save(myS3Location)
Возможно ли включить метаданные пользователя orc в эти файлы при их создании Spark?