Загружать данные из csv в облачное хранилище Google как запрос типа "большой запрос"

Question

Я хочу составить такой запрос, используя bigquery, мой файл хранится в облачной платформе Google:

select * from my_table where id in ('gs://bucket_name/file_name.csv')

Я не получил результатов.Является ли это возможным?или я что-то упустил?

Answer 1

Вы можете использовать CLI или API для выполнения специальных запросов к файлам GCS без создания таблиц, полный пример которых приведен здесь Доступ к внешним (объединенным) источникам данных с помощью уровня доступа к данным BigQuery

фрагмент кода находится здесь:

BigQuery query --external_table_definition=healthwatch::date:DATETIME,bpm:INTEGER,sleep:STRING,type:STRING@CSV=gs://healthwatch2/healthwatchdetail*.csv 'SELECT date,bpm,type FROM healthwatch WHERE type = "elevated" and bpm > 150;'

Waiting on BigQueryjob_r5770d3fba8d81732_00000162ad25a6b8_1 ... (0s) 
Current status: DONE   
+---------------------+-----+----------+
|        date    | bpm | type   |
+---------------------+-----+----------+
| 2018-02-07T11:14:44 | 186 | elevated |
| 2018-02-07T11:14:49 | 184 | elevated |
+---------------------+-----+----------+

с другой стороны, вы можете создать постоянную таблицу EXTERNAL с схемой автоопределения, чтобы упростить WebUI и постоянство, подробнее об этом здесь Запрос данных облачного хранилища