Мне нужен ETL?

Question

В настоящее время мы используем Datastage ETL для - ежедневного экспорта CSV / текстового файла с данными из 15 таблиц (3 разных схемы).

Мне интересно, есть ли более простой способ сделать это без использования ETL. Я попробовал Скриптеллу. Это выглядит просто / быстро, но это опять-таки ETL. Пожалуйста, предложите ..

Answer 1

Мы используем Python.Каждый язык программирования - каждый когда-либо изобретенный - является альтернативой ETL.

Вам никогда не нужно нужно ETL.

Вопросы такие:

• Что дешевле построить?Пользовательское программное обеспечение или конфигурация ETL?

• Что дешевле в обслуживании?

• Что легче адаптировать к изменяющимся требованиям?

Answer 2

Почему бы не использовать бесплатный и простой в использовании инструмент ETL, например, Expressor Studio. Вы можете скачать его на http://www.expressorstudio.com.

Answer 3

Мои 2 цента.

Datastage - ужасный инструмент и дорогой для лицензирования.

SSIS намного проще, или cloverETL - это хорошо.

Инструмент ETL против кода - хороший вопрос.

Инструменты ETL часто имеют лучшую производительность, так как могут помещать в очередь данные, готовые к использованию где программирование собирается делать это по одному, и datastage может делать это параллельно (но опять же я думаю, что это дует). Инструменты PLus ETL могут получать данные из нескольких разнородных источников, где вы не можете сделать это (легко) с помощью кода.

Однако, если все преобразования данных и т. Д. Должны выполняться с данными на одном сервере, я обычно заканчиваю тем, что делаю в SQL / TSQL (или PL / SQL) столько, сколько возможно, так как отладку всего на тонну проще / поддерживать. Первичные ключи / Внешние ключи являются вашими друзьями, и любые пропущенные поиски могут быть проверены позже с помощью контрольных подсчетов, чтобы убедиться в целостности данных.