Redshift: проверьте результат загрузки из STL_LOAD_ERRORS в Windows Batch - PullRequest
Новая
       36

Redshift: проверьте результат загрузки из STL_LOAD_ERRORS в Windows Batch

0 голосов
/ 12 октября 2018

Мы копируем загруженные файлы S3 в Redshift с помощью Workbench / J в нашем пакете следующим образом: 

java -jar %WBJ_DIR%\sqlworkbench.jar -profile='%WBJ_PROF%' -script='%ScriptFile%' -displayResult=true
  • Файл сценария - это команда копирования, созданная ранее, в соответствии с целевыми таблицами и условиями (используется в качестве имени файла, 'yyyy-mm-dd_TABLE_NAME.gz').

Пока задача загрузки выполняется успешно, но мы хотели бы добавить любые сообщения об ошибках, чтобы подтвердить результат загрузки в Redshift.

Просто интересно, есть ли такая опция, как «SET NoCount ON» в SQL Server.Если только получить количество записей, без заголовка и без сообщения, я думаю, что мы можем получить количество ошибок при загрузке из STL_LOAD_ERRORS для нашего пакета следующим образом: 

    --Check SQL
    set COMMAND=select count(*) from STL_LOAD_ERRORS where filename='%COPY_FILE%' and starttime > '%bat_start_time%';

    -- Get Error Count
    for /F "delims=" %%A in ('%COMMAND%') do (
    set REC_CNT=%%A
)
    echo Upload Error Count : %REC_CNT%

Конечно, любой другой хороший способ подтвердить загруженныйРезультаты на Redshift будут оценены.

Большое спасибо за ваши полезные советы заранее.

...