Flink JobManager HA на Кубернетес - PullRequest
Новая
       2

Flink JobManager HA на Кубернетес

0 голосов
/ 08 января 2020

Последний Flink 1.9 do c на JobManager HA охватывает только автономный режим и YARN. Я ищу руководство по включению HA в Kubernetes.

1 Ответ

1 голос
/ 08 января 2020

Deploy Flink на K8s использует автономный режим, вам просто нужно добавить конфигурацию HA в ваш flink-conf.yaml: 

high-availability: zookeeper
high-availability.zookeeper.quorum: localhost:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one # important: customize per cluster
high-availability.storageDir: hdfs:///flink/recovery

Как создать Docker образ: https://github.com/apache/flink/tree/release-1.9/flink-container/docker

Диаграмма Helm: https://github.com/docker-flink/examples

если вы используете helmchart для развертывания своей работы, вы можете просто добавить конфигурации HA в values.yaml: 

flink:
  num_taskmanagers: 3
  config: |
    high-availability: zookeeper
    high-availability.zookeeper.quorum: localhost:2181
    high-availability.zookeeper.path.root: /flink
    high-availability.cluster-id: /cluster_one # important: customize per cluster
    high-availability.storageDir: hdfs:///flink/recovery
...