Процесс потока данных в архитектуре ETL - PullRequest
Новая
       118

Процесс потока данных в архитектуре ETL

0 голосов
/ 07 мая 2020

Мне нужно прояснить, как данные будут передаваться из исходной системы в целевую в типичной архитектуре хранилища данных ETL. Например, исходная система, целевая система и сервер ETL находятся в трех разных сетях, и в ETL применяются некоторые преобразования и logi c. В этом случае будут ли потоки данных от источника-> сервер ETL-> целевой сервер или источник-> целевой с преобразованиями, применяемыми на лету между ними, и данные не проходят через сервер ETL?

1 Ответ

1 голос
/ 07 мая 2020

В большинстве ситуаций (я не могу придумать исключения, но они должны быть), данные перемещаются из исходной системы на сервер ETL, а затем на целевой сервер. Преобразования происходят на сервере ETL, что часто может вызвать узкое место, если эта машина недостаточно заряжена или мало памяти. Если это так, может потребоваться подход ELT. Однако большинство инструментов ETL могут легко приспособиться к этому подходу.

Любые дополнительные c будут зависеть от конкретного c продукта ETL, который вы используете, и архитектуры вашего сервера.

...