изменение схемы для внешней таблицы и непрерывного экспорта данных одновременно в Кусто - PullRequest
0 голосов
/ 03 мая 2019

Скажем, у меня уже есть внешняя таблица 't' и объект непрерывного экспорта данных 'e', ​​который уже настроен и работает без сбоев - теперь я хочу изменить схему, поэтому мне нужно изменить оба, 't' & ​​'e '- так что я предполагаю, что порядок изменений будет таким, что мне нужно сначала изменить внешнюю таблицу' t ', а затем экспортировать объект' e '- но эти шаги должны быть в последовательности, поэтому будут некоторыевременная задержка, когда схема, определенная для t & e, будет не синхронизирована.Первый вопрос, который у меня есть, - это разрешено?Вторая проблема - безопасно ли пытаться в том временном окне, когда мы знаем, что экспорт не происходит точно в этот момент времени?Кусто это позволяет?

1 Ответ

3 голосов
/ 03 мая 2019

Это верно, изменение схемы внешней таблицы не поддерживается. Это связано с тем, что чтение из внешней таблицы (которая в настоящее время не поддерживается, но будет в будущем) не поддерживается, если таблица содержит несколько схем. Ваше предложение удалить внешнюю таблицу и воссоздать ее с другой схемой, а затем изменить запрос на непрерывный экспорт, чтобы он соответствовал новой схеме, должно сработать, но это может привести к некоторым непрерывным ошибкам экспорта в течение короткого периода времени, в котором непрерывный экспорт все еще остается. экспортирует старую схему, которая не соответствует новой схеме внешней таблицы. Это не приведет к потере данных при непрерывном экспорте, но может сообщить о временном сбое. Другой рекомендуемый подход состоит в том, чтобы просто создать новую внешнюю таблицу вместо удаления старой и изменить непрерывный экспорт так, чтобы он указывал на новую таблицу с новым запросом новой схемы. Это должно работать нормально и не сообщать о каких-либо ошибках, так как таблица непрерывного экспорта и запрос изменяются в одной транзакции.

...