Я пытаюсь сохранить данные в таблицах BigQuery, процесс работает нормально и вставляет данные в таблицы, создает их при необходимости и все в порядке.Основная проблема, с которой я сталкиваюсь, - это длительное время, необходимое для создания таблиц, если бы мне потребовалось удалить предыдущие данные, прежде чем вставлять новые, используя WRITE_TRUNCATE .
write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE
Времявзятый действительно сумасшедший, и неразумный !!!Не только 150 секунд сна, но и более 30 минут для одного стола !!!и это всего лишь 10 000 записей.
Кто-нибудь сталкивался с той же проблемой?как это побороть?