Проверка данных из множества однопользовательских БД в одну многопользовательскую звездную схему - PullRequest
0 голосов
/ 25 сентября 2018

Я занимаюсь разработкой многопользовательской звездной схемы, содержащей данные из нескольких тысяч однопользовательских баз данных (все с одинаковой структурой).Данные доставляются через AWS Kinesis (Firehose) и Клей.Проблема, с которой я столкнулся, заключается в проверке содержимого схемы «звезда» по исходной системе, чтобы она была полной и точной.Как я могу наилучшим образом обеспечить абсолютную точность данных в схеме «звезда» (некоторая задержка загрузки ETL в порядке)?Любые идеи приветствуются ...

...