Есть ли ресурс для получения реальных примеров ETL? - PullRequest
3 голосов
/ 09 апреля 2011

Я полностью убежден, что значительная часть работы, которую я выполняю, относится к этой области ETL, но я даже не знал, что этот термин существовал до 3 месяцев назад. Я обнаружил, что SSIS является небольшим несоответствием для моего набора навыков, то есть мои инстинкты заключаются в том, что написание C #-кода хорошо продуманным способом даст мне нужный мне результат (также мой работодатель не владеет им). Я начал смотреть на WF, потому что, если это казалось логичным, но я вернулся к первоначальному выводу, что мне действительно нужно понять основы проблемной области, и когда я сделаю , что , будет наиболее разумно использовать мой опыт и код решения в .net / c # (я команда из одного человека, и это, похоже, не меняется). До сих пор у меня была своего рода мешанина утилит синхронизации, и именно из-за того, что трудно было управлять всеми этими инструментами, я начал искать эти знания.

ВОПРОС 1: есть ли у меня ресурс, чтобы получить примеры того, как все это собрано, для таких вещей, как:

  • извлечение из служб REST с ограничениями использования -> загрузка в базы данных для целей (как можно ближе) к синхронизации в реальном времени (насколько это возможно)
  • извлечение из собственных сторонних приложений, таких как QuickBooks -> загрузка в базы данных
  • мониторинг изменений в базе данных и обновление внешних систем в тщательно отслеживаемых пакетах (т. Е. Та же самая информация, которая была извлечена, изменяется приложением большого объекта и затем должна быть передана обратно)

ВОПРОС 2: Я еще не понял, где часть Т вступит в игру. До сих пор я извлекал информацию, которая представляет логические объекты в одной системе, и толкал их в другую.

Ответы [ 2 ]

2 голосов
/ 10 апреля 2011

У меня нет примеров точных сценариев, на которые вы смотрите, но если вы хотите узнать больше о самом ETL, вы можете попробовать взглянуть на статьи на сайте Айенде .Он имеет чрезвычайно простую в использовании среду для процессов ETL, которая называется Rhino ETL .И видео, показывающее , как его использовать .

Что касается того, где часть T начинает играть, T обозначает Transform.Это шаг в процессе, когда вы можете (но не обязательно) изменять форму данных.После извлечения из одного источника данных вы можете добавлять или удалять поля, собирать информацию, разбивать объекты на таблицы, отображать таблицы в объекты и т. Д. Эта часть является этапом преобразования.Затем вы переходите к Загрузке данных в новое хранилище данных или систему.

Надеюсь, это поможет некоторым.

1 голос
/ 13 апреля 2011
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...