Как реализовать правила качества и проверки данных в хранилище данных? - PullRequest
Новая
       17

Как реализовать правила качества и проверки данных в хранилище данных?

1 голос
/ 03 февраля 2010

Я разрабатываю хранилище данных, которое станет частью набора корпоративных приложений моей компании. Так что я многое узнал о концепции DW, но механизм правил кажется сложным, и я не могу найти много информации о различных способах реализации. Основное внимание в правилах уделяется проверке качества данных, а также оповещению о достижении определенных бизнес-показателей (например, xx.xx долларов США за месяц)

Наше приложение должно быть настраиваемым для каждого клиента, поэтому я хотел бы сделать правила общими. Как можно реализовать механизм правил?

  1. готовые инструменты? (Я буду перераспределять, так что это обычно не работает хорошо)
  2. Каркасы / APIs
  3. Design Paterns для создания собственной
  4. Другие идеи

Спасибо.

1 Ответ

2 голосов
/ 05 февраля 2010

Может показаться, что несколько отдельных систем работают вместе, а не один "большой двигатель", ответственный за все.

Когда дело доходит до «бизнес-метрик», посмотрите на KPI (ключевые показатели эффективности). Аналитические движки ( MS-SSAS , Pentaho-Mondrian и т. Д.) Позволяют легко определять и представлять данные (информационные панели) КПЭ. Если вы разрабатываете свою собственную, вы все равно можете получить представление о концепции.

За качество данных в основном отвечает "операционная система", вот где данные собираются. Если мусор достигнет DW, будет слишком поздно. Используйте инструменты профилирования данных , чтобы получить представление о том, как выглядят исходные данные - необходимо обеспечить качество данных в источнике.

В процессе загрузки DW вы можете использовать пошаговый подход ECCD (извлекать, очищать, согласовывать, доставлять) для реализации определенных «стандартов данных». Инструменты ETL ( MS-SSIS , Pentaho-Kettle , Oracle Data Itegrator и т. д.), чтобы помочь с этим.

Что касается правил двигателей, посмотрите inrule , ILOG , Fico , Corticon , Jboss Drools и т. Д. Это «независимые системы», и их можно использовать для обеспечения соблюдения бизнес-правил при оркестровке с операционные системы. Применение бизнес-правил обычно приводит к повышению качества данных. Вы можете скачать Drools и начать довольно быстро переделывать, другие производители также допускают бесплатную загрузку.

...