Проблема с пакетным потоком данных в облаке Google

Question

когда я собираюсь прочитать данные из таблицы больших запросов и записать их в другую таблицу больших запросов, используя пакетный поток данных с использованием Apache Beam и Java.

Набор временных данных, созданный в том же проекте, однако срок годности истекчерез 1 день, но временный набор данных все еще входит в состав Biquery.

Я использую пакетный поток данных с использованием создания шаблонов в облаке Google.

, если кто-то сталкивается с такой проблемой, пожалуйста, ответьте.

Answer 1

Это потому, что время истечения может быть установлено только в таблицах, а не в наборах данных. Вы можете получить информацию о вашем временном наборе данных , используя команды:

bq ls -a
bq show --format=prettyjson $TEMP_DATASET

Там вы найдете «defaultPartitionExpirationMs» и «defaultTableExpirationMs», но все, что связано с «набором данных об истечении срока действия».