Можем ли мы одновременно запустить несколько облачных конвейеров Google для одних и тех же данных?

Question

Допустим, у меня есть конвейер, который загружает данные из файла хранилища и загружает их в таблицу больших запросов. Перед завершением этого конвейера, могу ли я запустить другой конвейер, который выполняет ту же операцию для того же файла и таблицы?

Я предполагаю, что это должно провалиться. Кроме того, как мы сможем запустить второй конвейер? (Я запускаю код Apache Beam в Eclipse; он не разрешает повторное выполнение, когда работает один класс) Можем ли мы использовать CLI для запуска?

Answer 1

Я не знаю, почему вы хотите это сделать, но да, вы можете. Он не потерпит неудачу, если идентификатор конвейера не будет таким же. Поток данных будет читать / записывать параллельно.