Сохранение результатов в стоимости таблицы назначения

Question

Мне интересно, какой тип вставки сохраняет результаты большого запроса (с несколькими объединениями и объединениями) в таблицу назначения (разделенную на сутки).В настоящее время на виртуальной машине GC я выполняю эти запросы, сохраняю результаты в локальном временном CSV и загружаю эти CSV в соответствующие таблицы.

Это довольно неэффективно (не так быстро, как может быть и использует довольно много ресурсов виртуальных машин).Тем не менее, это дешево, так как задания по загрузке CSV бесплатны.Если бы я сохранил результаты запроса в таблицу назначения (добавляя к старым данным, которые уже состоят из 100M + строк), это понесло бы затраты на потоковую вставку?Это то, чего я бы хотел избежать, так как $ 0,02 / МБ может значительно увеличиться, поскольку мы ежедневно добавляем большое количество данных.

Спасибо за вашу помощь.

Answer 1

Мне интересно, какой тип вставки, сохраняющий результаты большого запроса (с несколькими объединениями и объединениями) в таблицу назначения (разделенную на несколько дней), равен.
... если бы я сохранилРезультаты запроса в таблицу назначения (добавление к старым данным, которые уже состоят из 100M + строк), будут ли эти расходы потоковой вставки?

Установка таблицы назначения для задания запроса - самый эффективный способ получения результата этого запроса, добавляемого в существующую таблицу.Это НЕ Влечет за собой никаких дополнительных расходов, связанных с потоковой передачей, поскольку здесь вообще не происходит потоковая передача

Answer 2

Внутри Bigquery при выполнении запроса и сохранении в таблице назначения вы получаете

• цену запроса (в любом случае вы платите)
• цена хранения (новые данные накапливаются в таблице - выберите
• без потоковой передачи

Если у вас есть данные за пределами BQ и вы добавляете данные в BQ

• , если вы используете load (это бесплатно)
• потоковая вставка (содержит компонент стоимости)
• хранение новых данных, добавленной вами таблицы