Обработка ошибок Aurora с помощью LOAD DATA FROM S3 - PullRequest
0 голосов
/ 08 октября 2018

Я загружаю порцию данных в Aurora MySQL, и у меня возникли некоторые проблемы с данными.

В моем файле около 15 миллионов строк, и я вижу ошибку в строке ~ 5 метров.Я могу найти «плохую строку» и исследовать / удалить / воссоздать необработанные данные, но мне интересно, есть ли какой-либо журнал ошибок, допуски или другие пороговые значения, которые могут

  • позволить процессу продолжить /успешно и просто сообщите количество ошибок
  • поместите строки ошибок в системную таблицу для просмотра
  • позволяют процессу продолжаться до превышения порога (например, 100 ошибок)

Например, при использовании Redshift мы используем опцию MAXERROR.

Этот тип функциональности действительно важен при создании автоматизированных процессов для больших наборов данных.Я ничего не могу найти в документации Авроры;если этого не существует, есть ли другие шаблоны для достижения того же результата?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...