должен ли обрабатываться поиск ключей таблицы измерений до того, как данные попадут в промежуточную таблицу?

Question

Я прочитал, что промежуточная таблица должна быть точным соответствием столбца за столбцом его целевой таблицы в dw. Если это так, то после заполнения промежуточной таблицы рекомендуется не выполнять последующие поиски для сопоставления ключей с ключами в таблицах измерений?

У меня вопрос, наверное, следующий: должны ли обрабатываться ключи таблицы измерений, прежде чем данные попадут в промежуточную таблицу?

Answer 1

Рекомендуется заполнять промежуточные данные без изменений, но это не значит, что вы не можете добавлять дополнительные столбцы метаданных.До тех пор, пока промежуточные данные полностью прослеживаются до источника без преобразования, вы можете добавить любые суррогатные ключи или другие специфичные для ETL данные, например, например, время извлечения, например.

Обычная практика в данныхСкладирование должно заполнять промежуточные данные как есть (извлекать), а затем искать ключи измерений при загрузке в SCD.Промежуточные данные не должны действительно содержать специфичную для склада информацию, так как они могут использоваться для многих целей.

Answer 2

Мне было бы интересно узнать, где вы это читаете. Не существует жесткого и быстрого правила, но большинство промежуточных таблиц представляют собой необработанный дамп необходимых исходных данных, иногда с некоторой базовой очисткой. На этом этапе я бы не стал искать в вашем хранилище данных. Поиск должен происходить в процессе, когда вы перемещаете данные из промежуточного хранилища в хранилище.