Публикация данных в хранилище данных

Question

Существуют ли передовые практики или общеизвестные методы публикации / объявления (с помощью метаданных и т. Д.), Какие данные были загружены, проверены и в настоящее время доступны для отчетности в хранилище данных?

Я видел несколько внутренних систем для этого - некоторые довольно хрупкие.

Есть ли какие-нибудь известные концепции или хорошие поисковые термины, которые я мог бы найти?

Answer 1

Я не уверен, что именно вы ищете здесь, но чего именно ждут пользователи?

Если система снова будет доступна после четко определенного и последовательного ежедневного ETLпроцесс запускается, тогда можно легко отправить электронное письмо, повторно включить приложение для отчетов, обновить значок состояния на сайте интрасети и т. д.

С другой стороны, если они ожидают очень специфического набора данных («Доступны ли еще данные о продажах Q4 для подразделения виджетов в регионе Юго-Восточной Азии?») тогда все гораздо сложнее, потому что все заинтересованы в чем-то другом.Это даже не техническое решение, потому что знание того, когда исходные данные полны и правильны, является бизнес-вопросом, который может иметь разные ответы для каждой исходной системы или набора данных.В нашей среде ежедневные отчеты полностью автоматизированы, но ежемесячные или ежегодные - нет, в основном потому, что часто происходят противоречивые события или процессы, которые означают, что нам все еще нужен человек, чтобы подтвердить, что отчеты могут быть запущены.Я уверен, что вы можете использовать метаданные для создания какой-то панели мониторинга, которая показывает, когда были загружены определенные данные, но это будет очень специфично для вашей ситуации и ваших пользователей, поэтому я не знаю, есть ли какое-то общее решение или шаблон.Я полагаю, что это будет очень зависеть от ваших бизнес-процессов, схемы отчетности (для метаданных) и инструментов отчетности.

Answer 2

Я думаю, что это зависит от инструмента BI, который вы используете в верхней части своего склада и на витринах. Например, IBM Cognos предоставляет пользователям ряд способов узнать о новых данных. Это включает в себя: -

1. Триггеры, которые могут быть запущены в конце процессов ETL, которые вызывают запуск запланированных отчетов в Cognos.

2. Наблюдайте за функциональностью, которая может быть связана с конкретными отчетами и даже с ячейками в отчетах, чтобы в случае сохранения новых версий выходных данных отчета или изменения значения ячейки в заданном пользователем диапазоне этот пользователь мог быть проинформирован.

3. Функциональность уведомления о событии (студия событий).

Пункт 2 особенно полезен, поскольку позволяет пользователям создавать отчеты по исключениям, а не по расписанию. Они могут позволить системе сообщать им, когда им нужно обратить внимание на что-то, вместо того, чтобы иметь набор отчетов или запросов, которые они запускают по расписанию в поисках изменений.