Я периодически получаю несколько плоских файлов данных. Данные носят реляционный характер (похоже, что они запрашиваются из реляционной базы данных и выгружаются в плоский файл).
Теперь мне нужно поместить их обратно в реляционные таблицы.
То, чего я хочу достичь, заключается в следующем. Скажем, мой плоский Enrollment файл имеет поле с именем StudentEthnicity. Я хочу:
Извлечь все уникальные / уникальные значения в поле StudentEthnicity
Из (1) найти StudentEthnicityзначения, которые НЕ находятся в моей таблице Ethnicity в моей базе данных, и добавьте эти новые значения (diff) в таблицу.
Запишите каждую из строк плоского файла в Enrollment таблица после замены фактического значения для поля StudentEthnicity на EthnicityID (из моей таблицы Ethnicity) с ссылочной целостностью.
Я хочу написать универсальный код многократного использованиятак что я могу выполнить эти шаги для любого количества полей без необходимости писать отдельный код для каждого поля (что усложняет их обслуживание).
Как правильно автоматизировать этот процесс?