У меня есть таблица больших запросов, которая кластеризована по нескольким столбцам, назовем их client_id и attribute_id.
Мне нужно отправить одно задание или команду, которые экспортируют данные таблицы в облачное хранилище, но сохранят каждый кластер (поэтому каждая комбинация client_id и attribute_id) к собственному объекту. Таким образом, последние URI могут быть примерно такими:
gs://my_bucket/{client_id}/{attribute_id}/object.avro
Я знаю, что мог бы справиться с этим, перебрав все возможные комбинации client_id и attribute_id и используя клиентскую библиотеку , чтобы запросить соответствующие данные во временной таблице bigquery, а затем экспортировать эту данные в правильно названный объект, и я мог бы сделать это асинхронно .
Но .... Я полагаю, что все кластерные данные уже хранятся в формате, примерно так, как я описываю, и я бы хотел избежать ненужных затрат и головной боли при написании сценария. сделать это сам.
Есть ли способ сделать это уже без запроса добавления новой функции?
Спасибо!