Ранее мы использовали Beam 2.11.0, который начал давать сбой из-за очевидного изменения формата URN.Когда я попытался обновить и использовать последний выпуск (2.13.0), конвейер начал работать по тайм-ауту, и единственной, казалось бы, соответствующей ошибкой, которую я мог определить из журналов во время тестирования, было:
org.apache.beam.vendor.grpc.v1p13p1.com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been truncated or that an embedded message misreported its own length.
Чтобы дополнительно проверить это, я попытался использовать пример WordCount, приведенный здесь в документации / репозитории Beam - https://beam.apache.org/get-started/wordcount-example/ - Но я получил тот же результат.Я не уверен, если это общая ошибка или что-то делать с потоком данных.Конвейеры, кажется, работают при работе через прямой запуск.
Примечание: я перестроил наш worker_harness_container_image с последней версией.
Я понимаю, что Go SDK официально не поддерживается Dataflow, но может кто-нибудьскажите, связана ли ошибка с потоком данных или с какой-либо другой проблемой?
PS: я задавал вопрос по каналам потока данных и слабой балки, но не получил ответа.