Откат данных DataStage при сбое одного из параллельных заданий

Question

В настоящее время я создаю задание, которое включает несколько параллельных заданий. Каждое параллельное задание загружает данные в базу данных.Если в середине произойдет сбой, параллельные задания до этого уже будут вставлены в базу данных.Есть ли способы откатить все данные параллельных заданий, если они не получаются на полпути?Спасибо.

Answer 1

Нет, это не концепция с точки зрения DataStage или ETL.

Некоторые соображения по этому поводу:

• Отмена всего этого приведет к ситуации, когда вам придется все повторить заново, и все время, потраченное на свертывание данных, будет потеряно и дополнительновы бы потратили много времени на их удаление.
• Если что-то не получится, концепция начинает с более менее точного этапа и повторяет попытку ввода данных. Это поддерживается в последовательностях DataStage путем установки контрольных точек и перезапускаемых последовательностей.
• Поскольку массы данных, которые вы обычно обрабатываете с помощью инструментов ETL и концепции конвейера Datastages, вариантов обработки транзакций в целом очень мало.Обычно он ограничен частью «Загрузка», где вы можете выполнить коммит после, например, 2000 строк (чтобы не вызывать проблем с журналом в БД)