Обновление схемы BigQuery без потери потокового буфера?

Question

Мы выполняем потоковые вставки в таблицу BigQuery.

Мы хотим обновить схему таблицы без изменения ее имени.

Например, мы хотим удалить столбец, потому что он содержит конфиденциальные данные, но мы хотим сохранить все остальные данные и имя таблицы одинаковыми.

Наш процесс выглядит следующим образом:

• копирование исходной таблицы во временную таблицу
• удалить исходную таблицу
• создать новую таблицу с исходным именем таблицы и новой схемой
• заполнить новую таблицу данными старой таблицы
• плакать, потому что последняя (вверх к) 90 минут данных застряли в потоковом буфере и не были переданы.

Как избежать последнего шага?

Answer 1

Я считаю, что новый потоковый API больше не использует потоковый буфер. Вместо этого он записывает данные непосредственно в таблицу назначения.

Чтобы включить API, вам необходимо зарегистрироваться с BigQuery Streaming V2 Бета-регистрационная форма :

Более подробную информацию вы можете найти в следующей ссылке Я надеюсь это касается вашего дела.