Общий способ остаться в квоте Google BigQuery SQL Query

Question

Это SQL-запрос, который я выполняю к общедоступному набору данных:

SELECT
  package,
  COUNT(*) count
FROM (
  SELECT
    REGEXP_EXTRACT(line, '(.*)') package,
    id
  FROM (
    SELECT
      SPLIT(content, '\n') line,
      id
    FROM
      [bigquery-public-data:github_repos.contents]
    WHERE
      sample_path LIKE '%.bashrc' OR sample_path LIKE '%.bash_profile')
  GROUP BY
    package,
    id )
GROUP BY
  1
ORDER BY
  count DESC
LIMIT
  400;

и это сообщение об ошибке:

Ошибка: превышена квота: в вашем проекте превышена квота для бесплатного запроса байты отсканированы. Для получения дополнительной информации см. https://cloud.google.com/bigquery/troubleshooting-errors

bigquery-public-data:github_repos.contents слишком велик для моей квоты.

bigquery-public-data:github_repos.sample_contents слишком мало для того, что я анализирую.

Есть ли способ указать, какую квоту может использовать запрос? Например, если у меня есть квота в 1 ТБ, есть ли способ выполнить этот запрос для github_repos.contents (который будет занимать 2,15 ТБ), но прекратить обработку после использования 1 ТБ?

Answer 1

Вы можете использовать Пользовательские средства контроля затрат . Это может быть установлено на уровне проекта или пользователя. Пользователь может быть сервисной учетной записью. Имея разные учетные записи служб для выполнения каждого запроса, вы можете «указать, какую квоту может использовать запрос».