Я строю непрерывный конвейер данных, используя задачи и потоки. Это работает хорошо для большей части моего решения, за исключением случаев, когда мои исходные данные представляют собой базу данных из общего ресурса Snowflake.
Хотя я не могу явно найти что-либо в документации Snowflake, я предполагаю, что вы не можете построить поток на таблице на основе общего ресурса, что имеет смысл на основе моего понимания архитектуры Snowflake. Когда я пытался это сделать, я получаю следующее сообщение об ошибке: Таблица 'TABLE_A' была импортирована из общего ресурса и не может быть использована.
Я хотел бы спросить, как Я могу идентифицировать измененные записи в моей таблице, кроме обычных решений "полное внешнее соединение" или "высокая отметка". Я надеюсь, что есть какой-то творческий способ использовать функции Snowflake, которые позволят мне сделать это.
Производительность имеет решающее значение, и в миллиардах строк будет таблица «май».
С уважением, Мариус