Есть ли в Talend Open Studio контейнер последовательностей, похожий на SSIS?

Question

Использование Talend Open Studio ...

• Шаг 1 - Я выполняю набор операторов SQL в базе данных PostgreSQL с использованием компонента tSystem
• Шаг 2 - я копирую десять таблиц PostgreSQL в базу данных SQL Server

Поскольку нет взаимозависимостей, я хотел бы выполнить все десять действий по копированию таблицы одновременно. Если бы я использовал SSIS, это было бы тривиально: поместите десять задач таблицы копирования в контейнер последовательности и используйте одно ограничение приоритета, чтобы связать сценарий выполнения SQL с контейнером последовательности.

Имеет ли Talend Open Studio контейнер последовательности, аналогичный SSIS?

В Talend Open Studio я знаю, что могу использовать триггер OnSubJobOk из компонента tSystem и создать соединение с каждой из десяти задач таблицы копирования ... но если я могу сделать это с одним соединением с чем-то вроде последовательности SSIS контейнер Я бы предпочел сделать это, потому что я ленивый ... я имею в виду эффективный!

Ключевым моментом здесь является то, что я хочу выполнить все десять задач таблицы копирования параллельно, чтобы сократить общее время выполнения.

Спасибо за ваши идеи.

Talend Open Studio для интеграции данных 6.3.2

Answer 1

У вас будет два варианта для поиска. Будет идти один за другим.

tПараллелизация

Компонент tParallelize помогает вам распараллеливать и синхронизировать выполнение множества подзадач в вашем основном задании. Таким образом, в вашем случае он будет одновременно выполнять все десять задач таблицы копирования в параллельных подзадачах и синхронизировать выполнение внутри основного задания. Только предостережение здесь - эта функция доступна только с версией подписки. Подробнее об этом можно прочитать здесь .

Многопоточное исполнение

эта функция доступна на вкладке «Дополнительно» в представлении «Работа». После настройки задания Talend вам необходимо установить флажок «Многопоточное выполнение», чтобы активировать функцию многопоточного выполнения, которая будет выполнять вашу логику параллельно. В вашем случае для 10 различных выходных данных Sql у вас будет установлено 10 соединений с базой данных и вы будете записывать в 10 разных соединений Подробнее об этом здесь .

Здесь следует помнить одну вещь: например, SSIS (для SSIS это число процессоров + 2) в Talend вы не можете распараллелить больше, чем количество процессоров, в противном случае он будет ждать процессоров и будет перегружен для процессоров.