Внутренняя ошибка при загрузке результатов запроса BigQuery через R - PullRequest
Новая
       84

Внутренняя ошибка при загрузке результатов запроса BigQuery через R

1 голос
/ 10 октября 2019

Сбой сбора данных из BigQuery через R с сообщением о внутренней ошибке.

Например, следующий запрос (со скрытыми именами конкретных таблиц / проектов) пытается загрузить 2,9 миллиона строк на 299 страницах. 

connection <- DBI::dbConnect(bigrquery::bigquery(), project = project, 
    billing = billing, page_size = page_size)

tbl <- dplyr::tbl(connection, paste0(dataset, ".", schema, ".", table))

data <- tbl %>% dplyr::collect()

Сбой из-за следующей ошибки:

Заполнено: 0 B Загрузка 2982643 строк на 299 страницах. Загрузка данных [=====> -------------------------------------------------------------------------------------------------------------------] 5% ETA: 5mError: Произошла внутренняя ошибка, и запрос не удалось выполнить. [internalError]

Когда я смотрю на задания пользовательского интерфейса BigQuery, сам идентификатор запроса помечается как успешно выполненный. Точно так же, когда я смотрю на журналирование Stackdriver для вызова API BigQuery, задание также помечается как успешное.

Задания такого типа не выполнялись при запросе с токеном службы и учетными данными отдельного пользователя. Ошибка является периодической, но наиболее распространенной при возврате большого количества строк. Выполнение того же запроса непосредственно в пользовательском интерфейсе BigQuery работает успешно, что свидетельствует о наличии проблемы с последним этапом сбора / загрузки данных.

...