Преобразуйте последние данные из таблицы необработанных вариантов в обычную таблицу: Снежинка

Question

У меня есть таблица вариантов, в которой необработанные json данные хранятся в столбце с именем «raw», как показано здесь.

Каждая строка этой таблицы - полная информация, полученная из API и принятая через snowpipe. В json есть пара ключей и значений «pxQueryTimestamp». Самое последнее значение для этого поля должно содержать самые последние данные. Как бы я go только об нормализации этой строки?

Обычно я обхожу это путем передачи только самых последних данных из "s3", чтобы в этой таблице была только одна строка, а затем я ее нормализовал.

Я хотел бы иметь историческую c таблицу всех данных, как показано ниже, но при нормализации нам важны только самые актуальные обновленные данные.

Любая помощь приветствуется !

Answer 1

Если вы говорите, что хотите сгладить и сохранить все в самой последней записи варианта, то я бы предложил использовать объект STREAM в Snowflake, который будет иметь только самую последнюю запись варианта. Затем вы можете TRUNCATE вашей плоской таблицы и запустить вставку из объекта STREAM в вашу плоскую таблицу, которая затем сместит смещение вперед, и ваш STREAM станет пустым.

Посмотрите документацию здесь:

https://docs.snowflake.net/manuals/user-guide/streams.html