Как я могу обновить один набор данных в dataprep?

Question

У меня есть один поток в Dataprep, который использует одну таблицу в Bigquery, схема этой таблицы изменилась, теперь как я могу обновить первоначальный импорт, не затрагивая мои ETL или не удаляя мои шаги.

Answer 1

Если схема вашей таблицы изменилась, вам нужно будет снова импортировать таблицу из BigQuery и объединить исходную таблицу с обновленной таблицей.Это можно сделать, выполнив следующие действия:

1.На своей странице потока нажмите кнопку «Добавить наборы данных»

2.В раскрывающемся меню выберите «Импортировать наборы данных» и выберитетаблица с обновленной схемой

3. На странице рецепта вставьте шаг «наборы данных» перед текущим первым шагом

4. Выберите обновленный набор данных, который вы только что импортировали, и нажмите наПредварительный просмотр

5.На вкладке «Соединительные ключи» выберите «Правильное внешнее объединение» и установите для «Соединительных ключей» общий столбец.

Обратите внимание, что это работает, только если набор данныхимел уникальный столбец идентификатора, который не был изменен.

Answer 2

Насколько я понимаю, природа коннектора BQ работает таким образом, что каждый раз, когда обрабатывается ваш поток, будь то открытие рецепта, добавление рецепта, выполнение задания ... GDP всегда проверяет источник данных.Если исходные данные изменились, ваши результаты в ВВП изменятся.

Кто-то, пожалуйста, сообщите мне, если я ошибаюсь.

Лучше.

/ e