PubsubIO позволяет дедуплицировать сообщения на основе атрибута id: PubsubIO.readStrings()
В настоящее время я использую библиотеку преобразований Tensorflow для преобразования и сохранения...