Строка Google Bigquery UPDATE занимает слишком много времени - нужно решение для повышения производительности - PullRequest
0 голосов
/ 30 апреля 2018

это обновление занимает 194 секунды для 220 миллионов строк. Есть ли способ улучшить это?

#standardSQL
UPDATE dataset.people SET CBSA_CODE = '54620' where substr(zip,1,5) = '99047'

1 Ответ

0 голосов
/ 30 апреля 2018

При запросе справки по производительности полезно добавить скриншот плана выполнения из пользовательского интерфейса BigQuery, чтобы увидеть, какие этапы являются наиболее интенсивными и где было потрачено время. Однако без этого я подозреваю, что эта небольшая оптимизация должна помочь:

UPDATE dataset.people SET CBSA_CODE = '54620' WHERE zip LIKE '99047%'

BigQuery должен иметь возможность отправить этот фильтр в свою систему хранения, поскольку это более естественный способ выражения сохранения строки, поэтому, если вы видите большое время «чтения» в плане выполнения для исходного запроса, это может уменьшить это.

...