Apache beam BigQueryDisposition.WRITE_TRUNCATE очень медленно - PullRequest
0 голосов
/ 12 декабря 2018

Я пытаюсь сохранить данные в таблицах BigQuery, процесс работает нормально и вставляет данные в таблицы, создает их при необходимости и все в порядке.Основная проблема, с которой я сталкиваюсь, - это длительное время, необходимое для создания таблиц, если бы мне потребовалось удалить предыдущие данные, прежде чем вставлять новые, используя WRITE_TRUNCATE .

write_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE

Времявзятый действительно сумасшедший, и неразумный !!!Не только 150 секунд сна, но и более 30 минут для одного стола !!!и это всего лишь 10 000 записей.

Кто-нибудь сталкивался с той же проблемой?как это побороть?

...