РАЗГРУЗИТЬ Redshift: добавить

Question

Я бы хотел РАЗГРУЗИТЬ данные из таблицы Redshift в уже существующую папку S3, аналогично тому, что происходит в Spark с опцией записи " append "(поэтому создание новых файлов в целевой папке, если она уже существует).

Мне известна опция ALLOWOVERWRITE, но при этом удаляется уже существующая папка.

Поддерживается ли что-то в Redshift? Если нет, какой подход рекомендуется? (в любом случае, я считаю, что это желаемая особенность ...)

Answer 1

Одним из решений, которое может решить эту проблему, является добавление другого уникального суффикса после папки, например

unload ('select * from my_table') 
to 's3://mybucket/first_folder/unique_prefix_' iam_role 
'arn:aws:iam::0123456789012:role/MyRedshiftRole'; 

Если вы добавите unique_prefix_ после первого уровня folder, все ваши новые файлы будут запущены с вашим unique_prefix_ во время операции выгрузки, поэтому вам не нужно никакого ALLOWOVERWRITE. Единственная проблема этого подхода заключается в том, что если вы выгружаете изменение данных, у вас может быть смешанная схема для выгруженных данных.