Установить имя файла для выгруженного файла из Снежинки - PullRequest
0 голосов
/ 23 марта 2020

Я выгружаю данные снежинки во внешний AWS S3 stg, используя следующую команду:

copy into '@ext_stg/path/file_name' 
from schema.table
file_format = (type=csv  field_delimiter= '~' compression='gzip' null_if=('','NULL', 'null',' ') field_optionally_enclosed_by= '"' )
OVERWRITE = TRUE
; 

Я хочу, чтобы выгруженное имя файла было file_name.csv.gz .

Но то, что я на самом деле получаю из приведенного выше кода, это file_name_0_3_0.csv.gz

Как мне установить желаемое имя файла как file_name.csv.gz

Ответы [ 2 ]

0 голосов
/ 25 марта 2020

настройка SINGLE=TRUE MAX_FILE_SIZE=5000000000 дала мне желаемый результат. Спасибо @ waldente

0 голосов
/ 23 марта 2020

Похоже, вы пытаетесь указать расширение CSV дважды. Попробуйте удалить его из пути S3, поскольку расширение файла уже указано в file_format.

скопировать в'@ext_stg/path/file_name.csv'

из schema.table

file_format = (type = csv field_delimiter = '~' сжатие = 'gzip' null_if = ('', 'NULL', 'null', '') field_optionally_enclosed_by = '"')

OVERWRITE = TRUE ;

...