Инкрементная зарядка данных

Question

• Мы хотели бы выполнить инкрементальную загрузку в DataStage (в параллельной среде). Точно загрузить только дельту между предыдущей загрузкой и новой (для создания, обновления, удаления записей в DWH).

• Мы хотели бы сохранить последний ключ, восстановленный во время предыдущей загрузки, чтобы иметь возможность перезапустить запрос из следующей записи при новой загрузке.

• Мы уже успешно использовали параметр для фильтрации запроса загрузки SQL во время выполнения. К сожалению, мы пока не нашли возможности извлечь последний ключ (max (Key) - Aggregator?) И сохранить его в этом параметре.

• Какой этап использовать для вывода одного значения в том же параллельном задании, а затем сохранить в параметре?

Есть идеи?

Спасибо за вашу помощь.

Answer 1

Благодарю Михаэля,

Я обнаружил, что в Head Head можно получить максимум (LastRowId) в том же задании со значениями «Все строки (после пропуска) = False) и« Количество рядов (на раздел).) = 1.И я запускаю задание в последовательном режиме ...

Это отлично работает.

Answer 2

Подумайте о получении максимального значения от вашей цели - это, скорее всего, база данных, а max () легко сделать.

Ознакомьтесь с моим постом о получении некоторых данных из потока "«к параметру