Apache Beam / Dataflow: передача атрибутов между преобразованиями

Question

Есть ли способ передачи метаданных / атрибутов между PTransforms? Эта информация не является частью элемента, но должна быть доступна при обработке элементов. У меня есть ограничение, что эта информация не может быть передана в качестве аргумента конструктора.

Answer 1

Почему его нельзя передать как аргумент конструктора?

Является ли значение неизвестным, пока вы не доберетесь до определенного преобразования? Если это так, вы можете извлечь его как дополнительный вывод, а затем ввести его везде, где это необходимо, в качестве побочного ввода, используя pvalue.

https://beam.apache.org/documentation/programming-guide/#additional-outputs

https://beam.apache.org/documentation/programming-guide/#side-inputs

https://beam.apache.org/releases/pydoc/2.8.0/apache_beam.pvalue.html#apache_beam.pvalue.AsSingleton