Apache Beam / Dataflow: лучший способ инициализации состояния для каждого развертывания - PullRequest
0 голосов
/ 10 января 2019

У меня есть потоковый конвейер Beam / Dataflow. Мне нужно обновлять метаданные, чтобы элемент обрабатывался каждый раз, когда топология пучка перезапускается / перезапускается, чтобы я мог определить версию топологии для каждого элемента. Например, допустим, я могу вставить время начала топологии в качестве метаданных, но хочу сделать это таким образом, чтобы мне не требовалось указывать дату в качестве аргумента запуска задания.

Наличие statefulDoFn может помочь в этой ситуации, однако есть ли встроенная поддержка для этого типа поведения?

1 Ответ

0 голосов
/ 15 января 2019

Проверьте аннотации @Setup и @Teardown для DoFn.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...