Правильный способ определения конвейера луча Apache

Question

Я новичок в Beam и изо всех сил пытаюсь найти много хороших руководств и ресурсов для изучения передового опыта.

Одна вещь, которую я заметил, это два способа определения конвейеров:

with beam.Pipeline() as p:
# pipeline code in here

Или

p = beam.Pipeline()
# pipeline code in here
result = p.run()
result.wait_until_finish()

Существуют ли конкретные ситуации, в которых предпочтителен каждый метод?

Answer 1

Я думаю, что функционально они эквивалентны, поскольку функция __exit__ для менеджера контекста конвейера выполняет тот же код.https://github.com/apache/beam/blob/master/sdks/python/apache_beam/pipeline.py#L426

Answer 2

Из фрагментов кода я вижу основное отличие, если вы заботитесь о результате конвейера или нет. Если вы хотите использовать PipelineResult для мониторинга состояния конвейера или или отменить ваш конвейер с помощью своего кода, вы можете перейти ко второму стилю.