Если я правильно понимаю, вы хотите уменьшить объем данных, обрабатываемых в BigQuery, из отчетов Data Studio (или в Японии, Data Portal).
Есть несколько способов сделать это:
Убедитесь, что в настройках отчета установлен флажок « Включить кэш ».
Избегайте использования представлений BigQuery в качестве источника запроса, поскольку они не кэшируются на уровне BigQuery (запрос представления запускается каждый раз и, вероятно, много раз для каждого отчета для различных диаграмм). Вместо этого используйте соединение с пользовательским запросом или извлекайте данные таблицы напрямую, чтобы разрешить кэширование. Другой вариант (который мы активно используем) - запустить запланированный запрос , который сохраняет выходные данные представления в виде таблицы и регулярно их заменяет (или запускается при обновлении базовых данных). Таким образом, ваши запросы могут быть кэшированы, но бизнес-логика все еще может существовать в представлении.
Создание резервирования BI Engine в BigQuery. Это добавляет еще один уровень кэширования в отчеты Data Studio и может дать вам лучшие результаты для вещей, которые нельзя кэшировать в запросах или кэшировать в Data Studio. (Хотя в будущем стоимость услуги будет зависеть от размера зарезервированного вами экземпляра, он будет бесплатным в течение периода их бета-тестирования.)
Не основывайте свои запросы на таблицах с прикрепленным потоковым буфером (даже если он недавно не получил строки), использует в запросе таблицы подстановочных знаков или основан на внешнем наборе данных (например, файл в облаке) Хранение или BigTable). Подробнее см. Кэширование .
Извлеките как можно меньше данных, используя новые Параметры источника данных . Это означает, что вы можете передавать значения вашего диапазона дат или других фильтров непосредственно в BigQuery и фильтровать данные до того, как они попадут в ваш отчет. Это особенно полезно, если у вас есть таблица с разделением по датам, поскольку вы можете сканировать только нужные разделы (что значительно сокращает обработку и объем возвращаемых данных)
Кроме того, иногда кажется, что вы перемещаете много данных, но это не всегда связано с высокой стоимостью. Проверьте разбивку ваших затрат или посмотрите, какие журналы отфильтрованы для пользователя, которого аутентифицирует ваш источник данных, а затем посмотрите, сколько затрат понесено. Некоторые операции подпадают под бесплатный уровень, а другие не приводят к затратам для не выходных сценариев использования, таких как Data Studio. Все это говорит о том, что вы, возможно, захотите убедиться в том, что в первую очередь стоит проблема с ценами на уровне BigQuery, прежде чем убивать себя, пытаясь оптимизировать использование.