Расписание задачи для загрузки таблицы BigQuery в Apache Ignite

Question

У меня есть случай, когда нам нужно периодически загружать таблицу BigQuery в кеш и поддерживать запрос SQL оттуда. Я занимаюсь исследованием Apache Ignite и думаю, что это может хорошо подойти для нашего варианта использования. Только то, что мне пока не ясно, как я могу получить автозагрузку из BigQuery. Под «автоматической загрузкой» я подразумеваю поддерживать Apache Ignite обновленным с данными таблицы BigQuery и делать это обновление прозрачным для приложений. В большинстве случаев наши таблицы BigQuery обновляются другими запланированными заданиями / запросами с интервалами от 5 минут до 1 месяца.

Я новичок в Ignite, и я думаю, мои вопросы следующие:

1. Эта функция уже поддерживается в Ignite? (Я не смог найти ни одного)

2. Или уже есть какие-нибудь плагины? (Я не смог найти ничего)

3. как реализовать кэш автоматической загрузки для BigQuery с помощью Ignite?

Answer 1

Если Google BigQuery не открывает свои файлы журнала изменений для инструментов CD C, найдите способ захвата этих обновлений и отправьте их в Ignite через API IgniteDataStreamer. Должен быть способ зафиксировать изменения с помощью некоторого механизма pub / sub.

Answer 2

Вы можете сделать это один раз с Cache Store / loadCache (), но делать это каждые несколько минут невозможно. Вы можете с помощью sh спроектировать стример BigQuery для Apache Ignite, если он поддерживает нажатие дельт.