У меня есть требование создать набор записей для комбинированного просмотра данных Google BigQuery и DataStore.Набор записей должен быть возвращен в веб-приложение фляги на app-engine, которое форматирует его в форму отчета.
Концептуально я хотел бы построить следующий запрос:
select bq.column1, bg.column2, bq.column3,
ds.column4, ds.column5, ds.column6
from bigquery bq join datastore ds on bq.uniquekey = ds.uniquekey
where bq.column10 in ('some list of filters')
Данные BigQuery содержат транзакционную информацию (и разделены и настроены), а хранилище данных содержит эквивалент данных измерений.Уникальный ключ - это столбец id в хранилище данных
. Я могу создавать запросы к обоим источникам данных в google app-engine, используя python.Я пытаюсь избежать написания новой таблицы с новыми объединенными данными, вместо этого предоставляя представление взаимосвязи в режиме реального времени.
В хранилище данных насчитывается около 25 000 объектов, растущих со скоростью <100 объектов в день и более 5 миллионов объектовв биквере растет на 10000 записей в час.Мне нужно вернуть отчет пользователю менее чем за 5 секунд. </p>
Есть ли способ сделать это в реальном времени, не сохраняя просмотр данных?