Замедляет ли наличие большего количества таблиц в наборе данных bq процессы? - PullRequest
0 голосов
/ 01 апреля 2020

В моем наборе данных было около 30000 таблиц. Я архивировал их все в 300 секционированных таблиц. Я удалил 29700 таблиц. Объем данных такой же, как удаленные таблицы, все они были заархивированы первыми. Повлияет ли это на время обработки сценариев python, которые ежедневно используют этот набор данных для создания новых таблиц?

PS: меня не волнуют процессы, использующие архивные таблицы. Я обеспокоен процессами, которые используют только один и тот же набор данных для создания своих новых таблиц.

1 Ответ

0 голосов
/ 02 апреля 2020

BigQuery не возражает, если у вас есть 3 или 30 000 таблиц. Это не должно влиять на скорость запроса.

Но! Представьте, что пользовательский интерфейс пытается перечислить все таблицы в одном наборе данных или аналогичные операции в других средах. Это будет медленнее точно.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...