Отключить кеш при запуске SQL - Google Big Query

Question

Нужен совет по поводу проблемы с кешем, с которой мы столкнулись в Google Big Query.

Я использую компонент Talend tBigQueryInput для запуска Google Big Query SQL. Однако SQL не возвращает текущие данные. Мы подозреваем, что он возвращает устаревшие данные из кэша.

Есть ли опция отключения кэша, которую можно встраивать в SQL, чтобы мы говорили, что Big Query строго не брать из кэша?

Answer 1

Есть ли опция отключения кэша, которую можно вставить в SQL

Нет! В запросе нет такой опции

Тем временем, чтобы принудить не использовать кеш, вы можете добавить что-то вроде ниже к вашему запросу

WHERE RAND() < 2    

Это просто глупый пример - но вы должны понять: o)

Answer 2

На ум приходят две быстрые мысли:

• Вы можете просмотреть историю заданий в пользовательском интерфейсе, чтобы увидеть задания, запущенные Talend. Из статистики они сообщат, были ли результаты получены из кеша. Вы также можете проверить журналы аудита на эту информацию.

• Вы можете выполнить измененный тестовый запрос, используя недетерминированный аспект, который гарантирует, что результаты не могут быть обработаны из кэша. Для этого должно быть достаточно таких функций, как CURRENT_TIMESTAMP(), CURRENT_DATE() и т. Д.

При сканировании общедоступных документов Talend нет настройки, которую я вижу, чтобы сопоставить настройку configuration.query.useQueryCache со значением false для задания запроса, которое является запрашиваемым вами поведением.