API Big Query через скрипт приложений - я получаю сообщение об ошибке для большой таблицы, но работает с меньшей таблицей. Есть ли ограничение на размер через скрипт приложений?

Question

Я использую скрипт приложений для отправки запроса в BigQuery

У меня есть идентификатор проекта - bigquerytest-282720, набор данных под названием «testDataSet» и 2 таблицы (smallTable и bigTable).

обе таблицы имеют одинаковую схему. В таблице 1 всего 6 строк, в таблице 2 - 600000

, когда я запрашиваю таблицу 1 (небольшую таблицу) с помощью запроса:

var request = {
query: 'SELECT * ' +
  'FROM bigquerytest-282720.testDataSet.smallTable ' +
  'WHERE Member = "North"',
useLegacySql: false
}

она успешно возвращает записи

но когда я запрашиваю таблицу 2 (большая таблица)

var request = {
query: 'SELECT * ' +
  'FROM bigquerytest-282720.testDataSet.bigTable ' +
  'WHERE Member = "North"',
useLegacySql: false
}

, происходит сбой с сообщением

GoogleJsonResponseException: вызов API для bigquery.jobs.getQueryResults завершился ошибкой: не найдено : Job bigquerytest-282720: job_6JTUvDCP7aWSJQT4FfGZLJFqwzqm (строка 35, файл «Код»)

Я могу успешно запросить таблицу 2 из консоли, так что это похоже на ограничение сценария приложений. Когда я запрашиваю таблицу 2 в консоли, она говорит, что обработано 74,3 МБ, поэтому, возможно, существует ограничение на размер таблицы при запросе из скрипта приложений?

Есть идеи?

спасибо

РЕДАКТИРОВАТЬ: я пробовал использовать таблицы из 300000, 100000 и 50000 строк. Он работает на 50000. Так что явно есть ограничение где-то в Apps Script. Этот лимит фиксирован или я могу где-нибудь заплатить больше? В настоящее время я не плачу ни за что, связанное с BigQuery, но решит ли я проблему, если я это сделаю?

Answer 1

Аххххххх - я решил! Я создавал таблицу в bigQuery с диска Google. Оказывается, на самом деле таблица в bigQuery не создавалась, а просто была ссылка на файл csv на диске Google. Таблица с 50000 строками, которая работала, я фактически загрузил с локального компьютера, поэтому она действительно была создана в bigQuery. Итак, я подписался на бесплатную пробную версию и загрузил из облачного хранилища Google, а затем фактически создал большую таблицу в bigQuery, и теперь я могу успешно запрашивать из скрипта приложений. Должен быть ограничен размер файла, который может быть запрошен как внешний источник данных. Когда я ранее пытался загрузить данные с помощью скрипта приложений в bigQuery, получая файл на диске Google, он выдал ошибку в размере 50 МБ, поэтому я думаю, что то же самое и с запросом с диска Google через bigQuery.

Answer 2

Размер ответа Urlfetch имеет ограничение в 50 МБ . То же самое может относиться к расширенным службам Google или другим встроенным службам, запрашивающим внешние данные.