Beam имеет окончательный план поддержки множества различных источников (и в конечном итоге они могут быть даже на разных языках).
на ваши вопросы, параллельная параллельная работа луча-бегуна на одной машине не вызовет проблем. Фактически, все проверочные тесты используют прямой запуск, и тесты выполняются параллельно.
Одна неясная вещь состоит в том, какова основная причина того, что у вас есть для создания нескольких конвейеров, по одному для каждого стороннего источника? если причина в том, чтобы параллельно работать с более высокой пропускной способностью, я (необъективное мнение) думаю, что это не очень хорошая идея. В конечном счете, даже если мы представим функцию оптимизации параллельных источников, вы не сможете воспользоваться преимуществами этой опции.