Почему при конвертации csv в паркет с помощью клея aws создается более одного файла? - PullRequest
0 голосов
/ 10 октября 2019

Я конвертирую CSV-файл в паркет и сохраняю его в папке s3, но когда я проверяю местоположение, я получаю более одного файла вместо одного файла?

1 Ответ

0 голосов
/ 11 октября 2019

По умолчанию Spark / Glue записывает данные параллельно, чтобы оптимизировать запись. Вы можете принудительно записать в один файл, используя метод coalesce() перед записью.

...