Потоковые данные в Apache суперсет из BQ?

Question

Я новичок в superset и хотел знать, есть ли способ выполнить потоковую передачу данных в большом запросе с использованием apache superset? В настоящее время я настроил базу данных в расширенном наборе apache с большим запросом, но когда я обновляю данные таблицы с помощью команд SQL в большом запросе, это не отражается в расширенном наборе. Есть ли способ получить потоковую передачу данных в суперсет?

Answer 1

Я просмотрел документацию Apache Superset и не смог найти ничего, связанного с «потоковой передачей данных» из источника, что, как мне кажется, в этом сценарии происходит, это то, что у вас есть панель мониторинга, которая использует данные из таблицы, которую вы имеете в BigQuery, и после добавления какой-либо новой информации в таблицу вы ожидаете, что изменение будет отражено на панели мониторинга автоматически.

Исходя из этой моей теории, Superset сохраняет результат вашего запроса в памяти, или это может быть использование BigQuery кэшированных результатов , что может не позволить панели инструментов автоматически обновлять данные и просматривать сделанные изменения. Я предлагаю либо запустить снова запрос для вашей таблицы, чтобы попытаться получить последние данные. С другой стороны, если Superset использует кэшированные результаты, вам придется взглянуть на конфигурацию, используемую для Superset для BigQuery, и найти способ ее отключить.