Существуют ли инструменты ETL, которые интегрируются с моделями Rails?

Question

Я исследую инструменты ETL для импорта плоских файлов в базу данных и последующего экспорта XML-файлов.

Многие инструменты поддерживают генерацию кода для использования в вашем приложении;Тем не менее, я не нашел ни одной, которая поддерживает использование кода уже в вашем приложении.Наша модель сложна (отношения, валидации, полиморфные ассоциации, обратные вызовы и т. Д.).

Какие инструменты доступны для повторного использования существующего кода?Или я застрял, воссоздав (и поддерживая) мою модель в инструменте ETL?

Примечание: мои требования к ETL (в отличие от массовых вставок или activerecord-import) - это преобразования.Мы получаем данные из более чем 200 различных источников в различных форматах, степени полноты и чистоты.Кроме того, «дизайнер», который включает большинство, более реалистичен для менее технических пользователей, которые будут определять преобразования.

Answer 1

ActiveWarehouse может оказаться полезным. Первоначальные результаты поиска заставляют проект чувствовать себя немного старым и несуществующим. Небольшое копание дало довольно активную, хорошо документированную ветку проекта на GitHub: https://github.com/activewarehouse/activewarehouse-etl

Answer 2

Напишите свой собственный.ETL - очень простой процесс, ruby ​​обеспечивает достаточную поддержку отражения, чтобы справиться с этим с помощью некоторого простого кода.Инструменты ETL здесь не очень полезны, просто генерируйте точечные файлы для отображения источников данных, потоков и преобразований.

Я сделал то же самое в smalltalk для преобразования данных.Там я использовал гламур и мондриана из набора инструментов реинжиниринга MOOSE для большей наглядности.

Answer 3

Modularize, вы хотите, чтобы приложение Rails и ETL спрашивали о значении «HND» из того же места. Настройте API для этого.