Время от времени медленное копирование данных между проектами в больших запросах - PullRequest
0 голосов
/ 08 января 2020

Я столкнулся с очень медленным перемещением при копировании данных из одного проекта в другой проект, расположенный в том же месте данных в bigquery, однако для перемещения данных потребовалось до 2 минут, что составляет всего около 100 000 записей по сравнению с другими операции, которые мы проделали, с копированием больших запросов с сотнями миллионов, что заняло всего несколько секунд, поэтому я хотел бы выяснить, почему произошло это необычное медленное движение для такого небольшого набора данных. Кто-нибудь сталкивался с подобной проблемой и знает, что может быть причиной этого, пожалуйста?

Спасибо.

С уважением,

1 Ответ

1 голос
/ 09 января 2020

Причиной проблемы медленного копирования может быть метод создания исходной таблицы, например, она могла быть создана несколькими заданиями импорта, которые могли вызвать такую ​​фрагментацию.

Таким образом, разница во времени не потому что объем данных, хранящихся в вашей таблице, но способ фрагментирования данных внутри.

Хотя время выполнения очень разумно, если вы хотите ускорить его больше, вы можете попробовать COALESCE / MERGE вашей таблицы , Один из способов сделать это - экспортировать таблицу в Google Cloud Storage и повторно импортировать ее обратно (не добавлять). Это должно уменьшить фрагментацию и помочь в случае, если вы хотите оптимизировать свои операции и получить несколько секунд.

Время выполнения нескольких минут для метода копирования таблицы внутренне считается абсолютно нормальным для задания копирования таблицы, и это делает не классифицируется как дефект BigQuery.

См. официальную документацию. А если вы хотите больше узнать о фрагментации в BigQuery, я рекомендую вам книгу «Google BigQuery: исчерпывающее руководство: хранение данных, аналитика и машинное обучение в масштабе» О'РЕЙЛИ.

Надеюсь, вы найдете Выше информация полезна.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...