Ошибка: запрашиваемый ресурс слишком велик для возврата [responseTooLarge] (при попытке импортировать таблицу Google BigQuery в R)

Question

Я могу импортировать таблицу измерений: 468 на 905 в R, но когда я пытаюсь импортировать таблицу с размером 5000 на 905, я получаю эту ошибку в R:

Ошибка: слишком запрашиваемый ресурс Большой для возврата [responseTooLarge]

Вот код:

billing <- "project_id" 

con <- dbConnect(
  bigrquery::bigquery(),
  project = "project_id",
  dataset = "dataset_name",
  billing = billing,
  use_legacy_sql = FALSE,
  allowLargeResults = TRUE
)

project<- "project name"
sql<- "select * from `table_name`"
data <- dbGetQuery(con,sql,use_legacy_sql = FALSE)

Answer 1

ГБК В R БОЛЬШИХ НАБОРОВ ДАННЫХ, это сработало!

data <- bq_table_download (bq_project_query (project, query = 'select * from <code>table_name'), bigint = 'integer64', page_size = 1000) тусклый (данные)

Answer 2

Я полагаю, что вы достигли максимального размера ответа в BigQuery . На сайте github проекта вы можете найти следующие рекомендации по использованию свойства page_size:

@ param page_size Количество строк, возвращаемых на страницу. Сделайте это меньше, если у вас много полей или больших записей, и вы видите ошибку 'responseTooLarge'.

Для справки вы можете прочитать это Руководство по Bigrquery (стр. 8) .

Вы также можете попробовать использовать другой метод, который позволяет загружать набор данных BigQuery в R (стр. 18 в руководстве).

bq_table_download(tb, max_results = 10)

Надеюсь, это поможет.