Команда COPY пропускает файлы в снежинке - PullRequest
Новая
       3

Команда COPY пропускает файлы в снежинке

0 голосов
/ 20 февраля 2020

Команда COPY пропускает файлы при загрузке данных из корзины s3 в снежинку. Есть ли в любом случае, я могу узнать количество файлов, которые были обработаны из всего списка файлов. Моя команда выглядит примерно так: 

   COPY INTO abcd.abcdefhg
   FROM 's3://dfsdc/asdfa/dfasdaf/sdfasd/'
   credentials = (AWS_KEY_ID = '********************' AWS_SECRET_KEY = 
   '************') 
   FILE_FORMAT = (
   COMPRESSION = 'GZIP'
   FIELD_DELIMITER = '|' RECORD_DELIMITER = '\n'
   SKIP_HEADER = 0
   FIELD_OPTIONALLY_ENCLOSED_BY = '"'
   TRIM_SPACE = FALSE
   ERROR_ON_COLUMN_COUNT_MISMATCH = TRUE
   ESCAPE = '\134'
   -- ESCAPE_UNENCLOSED_FIELD = 'NONE'
   ESCAPE_UNENCLOSED_FIELD=NONE
   DATE_FORMAT = 'AUTO' TIMESTAMP_FORMAT = 'AUTO'
   NULL_IF = ('')
    )
   ON_ERROR = CONTINUE;

1 Ответ

2 голосов
/ 20 февраля 2020

Если файл уже загружен в целевую таблицу, этот файл не будет обрабатываться до тех пор, пока вы не используете опцию force = true, также вы можете проверить статус загрузки с использованием представления метаданных, доступного в каждой базе данных.

После завершения команды копирования вы получите статус загрузки каждого файла на панели результатов.

Большое спасибо, Срига

...