Как я могу переопределить значение конфигурации в Apache Flink?

Question

Я пытаюсь собрать метрики из Apache Flink в Prometheus. В документации Flink говорится, что мне нужно добавить следующие строки в мой flink-conf.yaml:

metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: localhost
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: myJob

Я хочу пометить разные работы под разными именами внутри Прометея. Как я могу переопределить параметр конфигурации metrics.reporter.promgateway.jobName для каждого задания (каждое задание выполняется внутри собственного сеанса кластера Flink)?

Есть пара проблем:

• Я не могу переопределить flink-conf.yaml. Я нашел только параметр FLINK_CONF_DIR для переопределения всего каталога конфигурации. Но это не похоже на правильное решение переопределить каталог конфигурации для каждой отдельной работы.
• Я не могу переопределить начальную конфигурацию StreamExecutionEnvironment, поскольку она создается внутри StreamExecutionEnvironment.getExecutionEnvironment и не может быть изменена после инициализации среды.

Answer 1

Вы можете изменить эффективную конфигурацию, указав динамическое свойство при запуске кластера заданий Flink.Предполагая, что вы развертываете в Yarn, команда будет выглядеть следующим образом:

bin/flink run -m yarn-cluster -yD metrics.reporter.promgateway.jobName=myCustomJob <USER_CODE_JAR>

Динамические свойства отправляются в кластер Yarn и перезаписывают существующие пары значений ключа конфигурации.