Загрузка многих таблиц в Cloud Data Fusion завершается с ошибкой DAG

Question

У меня есть источник данных MS SQL Server с около 1000 таблицами, которые мне нужно поместить в BigQuery.Я надеялся использовать Data Fusion, чтобы загрузить их в промежуточные таблицы в BigQuery, а затем выполнить преобразования для них.Однако, как только я создаю конвейер с двумя "островками", это дает ошибку DAG.Это особенность или просто то, что я делаю неправильно?Я не могу найти ничего в документации.Мой конвейер выглядит так:

И ошибка, которую я получаю при попытке развернуть, такова: «Неверный DAG. Существует остров, состоящий изэтапы BigTest, BigQuery BigTest (другие этапы не связаны с ними). ​​"

Answer 1

Каждый конвейер представляет собой один DAG (направленный ациклический граф), и все источники и приемники должны быть подключены, чтобы конфигурация была действительной. Вы можете использовать плагин для нескольких таблиц с исходным кодом, который может одновременно вводить несколько таблиц в целевую таблицу в BQ.

Вы можете использовать плагины Multi Table и BQ Multi Table для вашего случая использования.