Я пытаюсь использовать синтаксис «Вставить каталог перезаписи» для записи фрейма данных в s3.
Ниже работает нормально:
spark.sql(s"""INSERT OVERWRITE DIRECTORY 's3://test/test1' USING PARQUET SELECT * FROM df""")
Но я не могу понять, как указать разделить столбец во время записи. Я ценю любую помощь в этом.
Справочная страница: https://github.com/apache/spark/blob/master/docs/sql-ref-syntax-dml-insert-overwrite-directory.md