Динамическая возможность создания преобразований данных из одного набора таблиц в другой на SQL Server

Question

У меня есть сценарий, в котором я получаю файлы из источника и слепо сбрасываю данные из файлов в базу данных промежуточной области в несколько таблиц.Теперь мне нужно перевести данные в таблицах необработанных данных в формат, понятный моей модели первичной базы данных, и в конечном итоге сделать перевод переведенных таблиц в основную базу данных из промежуточной области.

Например, мне может потребоваться объединить 3 таблицы в таблицах этапов необработанных данных и получить окончательный список столбцов для настройки окончательной первичной таблицы, которая совместима с моей первичной БД.У меня может быть много правил для перевода.Присоединяйся один.

Итак, мой вопрос таков: как лучше всего это сделать?Я планирую иметь таблицу правил, которая может иметь таблицу источников, RuleSet, таблицу назначения и динамически создавать запросы в хранимой процедуре, которая будет считывать данные из таблицы правил, создавать динамические запросы так, чтобы запрос создавал окончательные первичные таблицы вформат, заданный таблицей.

Я ищу более удачные идеи или более конструктивные идеи по этой идее от экспертов для таблицы правил, чтобы легко выполнить перевод.

Edit : Идея в том, что я собираюсь использовать этот дизайн БД для многих наших экземпляров.Поэтому я собираюсь заполнить таблицу правил и запустить процедуру, вместо этого просто имея процесс ETL для каждого из экземпляров.

Answer 1

Если вы хорошо понимаете сферу возможных преобразований, вы, вероятно, можете заставить это работать.

Я фанат того, чтобы сначала получить несколько (возможно, более сложных) примеров за моим поясомперед попыткой извлечь фреймворк, потому что фреймворк без хороших вариантов использования может: 1) иметь неиспользуемые функции, 2) быть сложным в настройке и трудным документированием, 3) невероятно не соответствовать будущим вариантам использования

* 1004Нельзя сказать, что каркас не может быть реорганизован, но рефакторинг каркаса, который, как вы знаете, уже удовлетворяет 80% ваших вариантов использования (потому что вы понимаете сферу), намного проще, чем рефакторинг, который соответствует только 10%, и тот, который соответствует% к тому, который соответствует 30% и т. д.