Схема таблицы BigQuery не соответствует рецепту

Question

В настоящее время я работаю над BI-стеком, который переходит от bigquery к Tableau.Я пытаюсь использовать Dataprep, чтобы удалить ненужные столбцы и соединить таблицы в bigquery, чтобы создать «основную» таблицу для последующей подачи в Tableau.таблицы в bigquery обновляются примерно каждые 8 ​​часов, и я пытаюсь создать аналогичное расписание в dataprep для основной таблицы.

Запуск задания или даже попытка взять образец из объединенных таблиц продолжает вызывать эту ошибку.

java.lang.IllegalStateException: схема таблицы BigQuery не соответствует рецепту.

Не уверен, как я должен решить эту проблему.Я сравнил два столбца в ошибке (ожидаемый и фактический столбцы) и обнаружил, что ожидается еще один дополнительный столбец.Почему это произошло?

Для сравнения, у меня есть postgres db, работающий параллельно с одними и теми же данными, и я могу делать те же соединения без проблем.

Также здесьтак выглядит общий поток данных в dataprep.

Любая помощь приветствуется.

Спасибо,

Art

Answer 1

Dataprep использует алгоритм ML, который TRY, чтобы помочь вам, но в большинстве случаев автоматически интерпретирует тип, и когда вы делаете новый рецепт, тип столбца изменяется.Поэтому последний рецепт, который вам нужно сделать, это «изменить тип», чтобы убедиться, что столбцы dataprep имеют тот же тип, что и столбцы BigQuery.

Answer 2

Иногда источник данных может изменять столбцы (добавлять или удалять столбцы).Повторный импорт данных решает эту проблему.