Иерархические данные в ETL

Question

Я новичок в инструменте ETL, но, по моим оценкам, все они работают с моделью плоских рядов.Т.е. если ваши данные требуют некоторого преобразования объекта графа (то есть проверки родительских полей или другой зависимости), это очень неудобно (это разрешимо с денормализацией и т. Д. Для отображения на более простую модель RDB).Я хочу спросить, правильно ли я понял.И почему ETL избегают работать с более понятными для бизнеса объектно-ориентированными моделями.Существуют ли ETL, поддерживающие Document или OOP?

Answer 1

Я не уверен, что полностью понимаю вопрос, но некоторые соображения, которые следует учитывать:

• Большинство парадигм ETL происходят из мира интеграции данных и поддержки принятия решений.а именно от проектирования и реализации хранилища данных.Этот мир традиционно ориентирован на реляционные базы данных, и большинство источников данных существуют в виде таблиц базы данных или файлов CSV.Это может быть причиной "плоской модели".
• Простая модель данных полезна для обеспечения высокой пропускной способности и в большинстве случаев не имеет чрезмерных ограничений: инструменты ETL используются для задач с интенсивным использованием данных.
• Большинство известных мне инструментов предполагают, что исходные записи обрабатываются независимо друг от друга, они не влияют друг на друга.Однако это не всегда так, поскольку некоторые инструменты позволяют, например, агрегировать данные (например, элемент-агрегатор Informatica) - модель данных уже не такая плоская.
• Другие примеры расширения плоской модели включают проверку зависимостей внешнего ключа («родительские поля»), использование таблиц словаря (или даже веб-сервисов), определение внешних классов, выполняющих произвольные операции («ООП») и т. Д. Однакомодель данных ETL всегда остается на более низком уровне абстракции.

Answer 2

Altova MapForce может работать с иерархическими данными.