Как перемотать закладку Job Job Glue Spark ETL?

Question

Я прочитал здесь , что теперь Glue предоставляет возможность перематывать закладки работы для задания Spark ETL.

Тем не менее, я не смог найти никакой информации о том, как это сделатьэто. Подопции в «приостановленной» опции закладки работы, кажется, полезны при перемотке закладки работы, но я не могу найти, как их реализовать (я использую консоль Glue.)

Answer 1

Что нужно для передачи следующих параметров в разделе «Параметры задания». С включенными закладками заданий.

job-bookmark-from <from-value> - это идентификатор прогона, который представляет все входные данные, которые были обработаны до последнего успешного прогона до и включая указанный идентификатор прогона.

job-bookmark-to <to-value> - этоидентификатор выполнения, который представляет все входные данные, которые были обработаны до последнего успешного выполнения перед включением, включая указанный идентификатор выполненияСоответствующий вход, исключая вход, идентифицированный знаком, обрабатывается заданием.