Создание системы ETL (импорт и преобразование данных) - PullRequest
1 голос
/ 22 марта 2011

Мне было поручено написать модуль для импорта данных в систему клиента. Я думал разбить процесс на 4 части:

1. Подключение к источнику данных (SQL, Excel, Access, CSV, ActiveDirectory, Sharepoint и Oracle) - DONE
2. Получить доступные таблицы / группы данных из источника - ВЫПОЛНЕНО
я. Получить доступные поля из выбранной таблицы / группы данных - DONE
II. Получить все данные из выбранных полей - ВЫПОЛНЕНО
3. Преобразование данных в соответствии с требованиями пользователя
4. Записать преобразованные данные в цель MSSQL

Я пытаюсь спланировать, как обрабатывать сложные преобразования данных, такие как:
Получите столбец A из таблицы tblA, внутреннее соединение с столбцом FA из таблицы tblB, и объедините эти два с точкой с запятой между ними.

ИЛИ

Получить столбец C из таблицы tblC в источнике, где столбец tblC.D отсутствует в столбце таблицы tblG в целевой базе данных.

Меня беспокоит не визуальное, а представление в коде этой операции.

Я не прошу пример кода, а скорее для некоторых творческих идей.

Преобразование данных будет осуществляться не со свободным текстом, а с помощью перетаскивания объектов, представляющих действия.

Я немного растерялся, и мне нужен свежий ввод.

Ответы [ 2 ]

3 голосов
/ 22 марта 2011

возможно, вы можете получить некоторые идеи из этого проекта с открытым исходным кодом: Rhino ETL .

0 голосов
/ 05 июля 2011
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...