Задание потока данных в Java SDK 2.11.0 не масштабируется - PullRequest
3 голосов
/ 08 апреля 2019

У меня есть потоковая работа, которая читает из pubsub и пишет в pubsub, выполняя некоторую базовую обработку в середине.
Работая над SDK 2.5.0 и выполняя его «напрямую», он работает как положено и масштабируется от 1 работника до необходимого количества работников. Попытка обновления до последней версии 2.11.0 и использование шаблонов - все работает нормально, но не масштабируется.
Прилагаются параметры конвейера для обоих заданий.
Любое предложение ? Что-нибудь, что могло быть изменено между этими двумя версиями, которые мне не хватает?
Спасибо,
Шуша SDK 2.5.0 example SDK 2.11.0 example

Разъяснение
Несмотря на то, что я установил 20 рабочих - я получаю только 1. enter image description here

1 Ответ

1 голос
/ 08 апреля 2019

numWorkers установлено на 20. Таким образом, при запуске задания 20 рабочих будут распределены на основе этого значения.

maxNumWorkers также установлено на 20. Таким образом, не более 20рабочие когда-либо будут распределены.

Если вам нужно, чтобы работа масштабировалась за пределы первоначальных 20 работников, измените значение maxNumWorkers.

...