Как я могу использовать набор данных BigQuery в Data Lab

Question

У меня есть несколько наборов данных в BigQuery, интересно, есть ли способ использовать те же наборы данных в Data Lab? Поскольку наборы данных большие, я не могу загрузить их и перезагрузить в Data Lab.

Большое спасибо.

Answer 1

Клиентская библиотека BigQuery Python поддерживает запрос данных, хранящихся в BigQuery. Чтобы загрузить команды из клиентской библиотеки, вставьте следующий код в первую ячейку записной книжки:

%load_ext google.cloud.bigquery

%load_ext - одна из многих встроенных команд Jupyter magi c.

Клиентская библиотека BigQuery предоставляет ячейку %%bigquery, которая выполняет запрос SQL и возвращает результаты в виде Pandas DataFrame.

Вы можете запрашивать данные из набора * publi c или из наборов данных в вашем проекте:

%%bigquery 

SELECT *  

FROM `MY_PROJECT.MY_DATASET.MY_TABLE`  

LIMIT 50 

Мне удалось успешно получить данные из набора данных без каких-либо проблем.

Вы можете следовать этому учебнику . Надеюсь, это поможет.