Datalab не может прочитать данные Bigquery на dataproc - PullRequest
Новая
       51

Datalab не может прочитать данные Bigquery на dataproc

0 голосов
/ 23 мая 2019

datalab установлен на кластере узлов данных dataproc на gcp.

Следующий запрос успешно выполнен: %%bq tables describe --name "datalab-dev-xxx.ML_PP_xxx.ML_CAMPN30_xxx"

В то время как запрос чтения данных завершается с ошибкой: SELECT * FROM 'datalab-dev-xxx.ML_PP_xxx.ML_CAMPN30_xxx' WHERE partition_day = "2019-05-22" LIMIT 10

Ошибка: HTTP-запрос не выполнен: не найдено: Job datalab-dev-238506: job_JT_cgX84NyJQRt-F_DmKl5YM44hb

Есть ли какие-либо подсказки по поводу проблемы?

1 Ответ

1 голос
/ 23 мая 2019

Скорее всего, набор данных datalab-dev-xxx.ML_PP_xxx не базируется в США.Попробуйте вместо этого использовать недавний выпуск google-cloud-bigquery, поскольку он знает, как правильно обрабатывать автоматически обнаруженные местоположения при отправке запросов.Старая библиотека данных не обрабатывает это правильно и ищет работу в неправильном месте.

См. эту статью по миграции для получения дополнительной информации о переключении использования на более новую библиотеку.

...