Как выгрузить тип файла CSV, когда выгрузка сжимается с помощью gzip? - PullRequest
0 голосов
/ 24 апреля 2020

Привет, у меня есть этот запрос, который будет выгружать данные из красного смещения в S3, которые будут выводиться в виде CSV-файла и сжаты с помощью gzip. Предположительно, если я извлечу gzip, он выдаст мне файл csv, но вместо этого он извлечет его как «файл».

Приложенное изображение является выводом разделенного года, который является 2018. Я ожидал, что файл распаковки будет быть в формате CSV, так как я указал его в запросе, но вместо этого он дает мне «файл» в качестве типа файла. gzip

Запрос:

UNLOAD ($$ SELECT *, (date_part("year", last_updated))::text as year FROM table WHERE date_part("year", last_updated) <= (date_part("year", CURRENT_DATE)-1) $$)
TO 's3://'
IAM_ROLE  ''
PARTITION BY (year) 
CSV DELIMITER AS  '|'
GZIP
PARALLEL FALSE
ALLOWOVERWRITE
MAXFILESIZE AS 100 MB;

1 Ответ

0 голосов
/ 26 апреля 2020

Немного больше о том, что вы получаете, было бы полезно, но я думаю, что вижу проблему. Вы указали столбец раздела, который будет разделять выходные файлы на это значение (несколько файлов, по одному в год), но добавили в раздел параметр INCLUDE, который сообщит UNLOAD о том, что значения раздела также должны храниться в выходных файлах. Поскольку у вас есть только один столбец, год, и он используется для имен разделенных файлов, вы получаете пустые файлы.

Без дополнительной информации будет трудно добиться большего успеха, чем эта интерпретация ваших команд.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...