СОЮЗ ВСЕХ параметризованных запросов

Question

У меня есть определенный запрос, который работает нормально.Проблема в том, что часть этого запроса является строкой, которую нужно прочитать из файла.Запрос для каждой строки производит 6 выходных данных.Мне нужно объединить все результаты для этого файла так, чтобы конечный результат представлял собой таблицу с числом строк 6x.Я могу прочитать файл с помощью Python.

Я уже пробовал использовать параметризованные запросы.Каждая из них возвращает только 6 строк на основе этой строки.

Большая часть моего кода на Python основана на документации BigQuery здесь .

query = """
    SELECT pet_id, age, name
    FROM `myproject.mydataset.mytable`
    WHERE name = @name
    AND species = @species;
"""
query_params = [
    bigquery.ScalarQueryParameter('name', 'STRING', 'Max'),
    bigquery.ScalarQueryParameter('species', 'INT64', 'Dog'), 
    bigquery.ScalarQueryParameter('name', 'STRING', 'Alfred'), 
    bigquery.ScalarQueryParameter('species', 'INT64', 'Cat')
]
job_config = bigquery.QueryJobConfig()
job_config.query_parameters = query_params
query_job = client.query(
    query,
    # Location must match that of the dataset(s) referenced in the query.
    location='US',
    job_config=job_config)  # API request - starts the query

# Print the results
for row in query_job:
    print('{}: \t{}'.format(row.word, row.word_count))

Как я могу получитьСОЮЗ ВСЕХ из многих из этих результатов запроса?

Вывод должен выглядеть как

pet_id | age | name
___________________
1      | 5   | Max
2      | 8   | Alfred

Answer 1

Посмотрите на приведенный ниже пример использования общедоступных данных (вы также можете выполнить запрос)

#standardSQL
SELECT * 
FROM `bigquery-public-data.baseball.schedules`
WHERE (year, duration_minutes) IN UNNEST([(2016, 187), (2016, 165), (2016, 189)])

Ключом здесь является предоставление массива значений, по которому вы хотите отфильтровать таблицу,и используйте IN UNNEST (array_of_values) для выполнения работы, в идеале, как показано ниже:

query = """
    SELECT pet_id, age, name
    FROM `myproject.mydataset.mytable`
    WHERE (name, species) IN UNNEST(@filter_array);
"""

Немного прискорбно, что BigQuery Python API не позволяет указывать array< struct<string, int64> > какпараметр запроса.Так что вам, возможно, придется сделать:

query = """
    SELECT pet_id, age, name
    FROM `myproject.mydataset.mytable`
    WHERE concat(name, "_", species) IN UNNEST(@filter_array);
"""
array_of_pre_concatenated_name_and_species = ['Max_Dog', 'Alfred_Cat']
query_params = [
    bigquery.ArrayQueryParameter('filter_array', 'STRING', array_of_pre_concatenated_name_and_species),
]