Параллелизм данных по сравнению с улучшением производительности

Question

Как параллелизм Datastage помогает улучшить производительность? Какая связь между параллелизмом и производительностью?

Спасибо и С уважением, Subhasree

Answer 1

Этот вопрос очень широкий - пожалуйста, постарайтесь быть конкретным в следующий раз.

Существует несколько различных параллельных подходов в DataStage:

1. Конвейерный параллелизм. Представьте себе работу, в которой данные, считываемые из базы данных, преобразуются и записываются в другую базу данных. В то время как данные все еще считываются из базы данных, некоторые строки преобразуются, а некоторые (уже были преобразованы) и уже записаны в цель. Потому что вам не нужно ждать ни одного шага, чтобы закончить, это обеспечивает производительность.
2. Параллелизм разбиения: данные считываются из последовательного файла, а затем разделяются на разные разделы данных (количество разделов определяется файлом конфигурации). Параллельные этапы, также спроектированные один раз, будут созданы по одному на раздел, и, следовательно, будут созданы дополнительные потоки. Эти потоки будут работать параллельно и снова обеспечат лучшую производительность (пропускную способность).

Надеюсь, это поможет.