Как долго Dataflow запоминает идентификатор атрибута в PubsubIO?

Question

PubsubIO позволяет дедуплицировать сообщения на основе атрибута id:

PubsubIO.readStrings().fromSubscription(pubSubSubscription).withIdAttribute("message_id"))

Как долго Dataflow запоминает этот идентификатор? Это где-нибудь задокументировано?

Answer 1

Он задокументирован, однако еще не переведен в версию V2 + документов. Информацию все еще можно найти в документах V1:

https://cloud.google.com/dataflow/model/pubsub-io#using-record-ids

"Если вы установили метку идентификатора записи при использовании PubsubIO.Read, когда Dataflow получает несколько сообщений с одним и тем же идентификатором (который будет считан из атрибута с именем строки, переданной в idLabel), Dataflow будет отбросить все сообщения, кроме одного. Однако Dataflow не выполняет эту дедупликацию для сообщений с тем же значением идентификатора записи, которые опубликованы в Cloud Pub / Sub с интервалом более 10 минут. "