Мы проверяем возможность модели ниже, где
- Одиночный потребитель будет подписывать / получать сообщения из нескольких очередей в Spark ( это работает )
- Receiver Экземпляры будут иметь различную конфигурацию SparkEnv, т.е. хотят переопределить конфигурацию максимального противодавления, как показано на рисунке ниже (Экземпляр # 1 приемника имеет maxRate 90, где как экземпляр № 2 приемника имеет maxRate 30).
Переопределение свойства conf SparkEnv в коде драйвера не работает, и оно по-прежнему принимает значение, установленное в сценарии запуска приложения. Пожалуйста, предложите, возможно ли переопределение "Переопределение конфигурации MaxRate обратного давления во время выполнения"? Если да, указатель относительно того же.
