Как выполнять огромные запросы в облаке больших запросов?

Question

Вот мой код

with table1 as (
    select * from emp
),
table2 as (
    select * from dept
),
table3 as (
    select * from attendance
)

select table1.*,table2.*,table3.*;

Когда я запускаю этот запрос, он не показывает никакого вывода, но выдает следующее сообщение

Waiting on bqjob_r1556eb3ce0e18e00_0000016a1558a3b2_1 ... (10s) Current status: DONE

но когда я пытаюсь запустить это:

select table1.name;

Это дает следующий вывод:

+----------------+
|      Name      |
+----------------+
| Ahmad Abdullah |
+----------------+

Когда результирующий набор содержит 5-6 столбцов, он выдает выходные данные, но если он превышает 5-6 столбцов, он не показывает никаких выходных данных

Я хочу знать, как мы можем выполнять огромные запросы с более чем 10 столбцами в большой облачной оболочке запросов

Answer 1

Я хочу знать, как мы можем выполнять огромные запросы с более чем 10 столбцами в большой облачной оболочке запросов

Это пример того, как выполнить запрос в облачной оболочке BigQuery нанесколько столбцов, проверьте состояние задания и извлеките результаты из таблицы назначения (в данном случае я использую общедоступный набор данных, чтобы вы могли проверить и поиграть с ним)

• Выполнение запроса с использованием: bq query

bq query --nouse_legacy_sql 'select * from `bigquery-public-data.samples.shakespeare` limit 10'

Ожидание bqjob_r35189e6fbf98cf71_0000016a16517f64_1 ... (0s) Текущее состояние: DONE

+-----------+------------+---------+-------------+
|   word    | word_count | corpus  | corpus_date |
+-----------+------------+---------+-------------+
| LVII      |          1 | sonnets |           0 |
| augurs    |          1 | sonnets |           0 |
| dimm'd    |          1 | sonnets |           0 |
| plagues   |          1 | sonnets |           0 |
| treason   |          1 | sonnets |           0 |
| surmise   |          1 | sonnets |           0 |
| heed      |          1 | sonnets |           0 |
| Unthrifty |          1 | sonnets |           0 |
| quality   |          1 | sonnets |           0 |
| wherever  |          1 | sonnets |           0 |
+-----------+------------+---------+-------------+

• Отслеживание состояния заданияиспользуйте: bq show:

bq --location=US show -j 'bqjob_r35189e6fbf98cf71_0000016a16517f64_1'

• Выход:

Job projectId:bqjob_r35189e6fbf98cf71_0000016a16517f64_1
  Job Type    State      Start Time      Duration         User Email         Bytes Processed   Bytes Billed   Billing Tier   Labels
 ---------- --------- ----------------- ---------- ------------------------ ----------------- -------------- -------------- --------
  query      SUCCESS   13 Apr 13:50:01   0:00:00    tamir.klein1@gmail.com   6432064           10485760       

• Для получения сведений о заданиях используйте: --format=prettyjson

bq --location=US --format=prettyjson show -j 'bqjob_r35189e6fbf98cf71_0000016a16517f64_1'

    "destinationTable": {
            "datasetId": "_678da79776e587d77e4352f89f5345e7f20849ef",
            "projectId": "mydata",
            "tableId": "anon0dd6d6c2fda3d77bec552bbc189e4ba08a136b20"
          },

• Чтобы получить Результат для длинного запроса, используйте: bq query с информацией таблицы назначения, взятой из предыдущей точки

bq query --nouse_legacy_sql 'select * from `projectId._678da79776e587d77e4352f89f5345e7f20849ef.anon0dd6d6c2fda3d77bec552bbc189e4ba08a136b20` limit 10'

• Вывод:

Waiting on bqjob_r44dc9a8fdbdf61f0_0000016a1662e2ac_1 ... (0s) Current status: DONE   

+-----------+------------+---------+-------------+
|   word    | word_count | corpus  | corpus_date |
+-----------+------------+---------+-------------+
| LVII      |          1 | sonnets |           0 |
| augurs    |          1 | sonnets |           0 |
| dimm'd    |          1 | sonnets |           0 |
| plagues   |          1 | sonnets |           0 |
| treason   |          1 | sonnets |           0 |
| surmise   |          1 | sonnets |           0 |
| heed      |          1 | sonnets |           0 |
| Unthrifty |          1 | sonnets |           0 |
| quality   |          1 | sonnets |           0 |
| wherever  |          1 | sonnets |           0 |
+-----------+------------+---------+-------------+