Embulk: MySQL до S3 инкрементное обновление

Question

Я хотел бы получить некоторые разъяснения о том, как работает инкрементная опция для embulk. Когда мы устанавливаем значение incremental в значение true и передаем уникальный ключ для ссылки, где Embulk хранит последнюю запись?

Каждый раз, когда я запускаю embulk, может ли он получить изменения от предыдущего запуска или мне нужно заново определять последний параметр записи каждый раз, когда я запускаю embulk?

Кроме того, когда я повторно запускаю Embulk и не было никаких изменений, это сбрасывает последнюю запись?

Спасибо

Answer 1

Вы используете embulk-input-mysql? Не могли бы вы попробовать embulk run -c diff.yml config.yml? После первого запуска он сохраняет данные last_record в diff.yaml.

Ref: https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc#incremental -loading

PS Кстати, не могли бы вы создать тег embulk? (Я хочу посмотреть этот тег)