AWS Glue Bookmark: запуск задания и триггер - PullRequest
0 голосов
/ 14 марта 2019

Мне было интересно, работает ли для конкретного задания с включенной закладкой логика, если я чередую Запуск задания с Запуск триггеров .

Пример

Я запускаю свою работу вручную с помощью кнопки Run Job и обрабатываю входные файлы в определенной папке. В этой входной папке создаются новые файлы. Через полчаса задание запускается по расписанию.

Будет ли запланированный триггер знать об обработанных файлах заданием "ручного" запуска или это будет другой процесс закладки?

1 Ответ

2 голосов
/ 14 марта 2019

Контрольные точки для Job Bookmark сохраняются с помощью transformation_ctx, а обновленные контрольные точки фиксируются, когда из скрипта запускается команда job.commit().

Поскольку запуск задания с помощью триггера или вручную приводит к вызову одного и того же действия API (StartJobRun), и при этих запусках заданий фактически выполняется один и тот же код, каждый новый прогон задания будет знать об обновлении закладки из предыдущего запуска,

...