Задание AWS Glue выполняется, но не извлекает все записи из таблицы - PullRequest
0 голосов
/ 17 января 2019

Задание склеивания не снимает все записи в таблице, находящейся под триггером, даже если оно запускается, но когда я запускаю по требованию, оно снимает все записи в таблице.

У меня есть работа Glue, которая делает снимки пяти таблиц из Redshift каждый день в корзину S3. Когда я вручную запускаю задание (запускается по требованию), я получаю правильное количество записей в S3 (аналогично таблице красного смещения), но как только я запускаю задание по триггеру ежедневно, я получаю только несколько сотен записей в s3 для каждой таблицы.

Код представляет собой скрипт, сгенерированный Glue, для записи таблицы в формате паркета в s3.

Я ожидаю, что все записи будут появляться каждый день. Если я вижу учетную запись 123, я должен видеть запись для каждого дня под ежедневным снимком, но я вижу идентификатор 123 только для дней, которые я запускаю по требованию. Кажется, клей не снимает всю таблицу под триггером.

...