Среда ETL для загрузки данных в приложение Rails

Question

Мне нужно загружать данные для моего приложения Rails от нескольких провайдеров (XML-каналы на основе REST / SOAP) в базу данных на регулярной основе. Я написал набор задач Rake, которые запускаются при каждом создании заданий cron. Каждая задача попадает в конечную точку фида партнера, анализирует фид и загружает его в базу данных.

Вместо того, чтобы писать задачи Rake, должен ли я использовать среду ETL, такую ​​как ActiveWarehouse (http://activewarehouse.rubyforge.org/etl/) вместо этого? Какие-нибудь предложения о том, как сделать это в Rails?

Answer 1

Если вы просто загружаете данные в набор таблиц, и случай использования прост, например, просто добавление новых записей или обновление основных, а ваша загрузка соответствует вашим требованиям, я бы придерживался этого. Конечно, вы также можете использовать ActiveWarehouse, но это звучит как излишнее. Однако, если вам необходимо поддерживать изменяющиеся измерения (т. Е. Сохранять историю изменений данных во времени) или другие функции «хранилища данных», тогда что-то вроде ActiveWarehouse начинает приобретать большее значение.