Как настроить управление памятью кластера flink - PullRequest
Новая
       10

Как настроить управление памятью кластера flink

0 голосов
/ 11 июня 2019

У меня есть кластер Flink, и я использую его для запуска пакетных заданий. Проблема заключается в том, что после каждой работы память менеджера задач все еще занята.

Кластер работает в Docker Swarm и имеет две машины с 250 ГБ ОЗУ.

Мой конфиг флинка такой: 


by specifying the --host <hostname> parameter of the bin/jobmanager.sh executable.



by specifying the --host <hostname> parameter of the bin/jobmanager.sh executable.
# In high availability mode, if you use the bin/start-cluster.sh script and setup
# the conf/masters file, this will be taken care of automatically. Yarn/Mesos
# automatically configure the host name based on the hostname of the node where the
# JobManager runs.

jobmanager.rpc.address: jobmanager17

# The RPC port where the JobManager is reachable.

jobmanager.rpc.port: 6123


# The heap size for the JobManager JVM

jobmanager.heap.mb: 204800


# The heap size for the TaskManager JVM

taskmanager.heap.mb: 204800


# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.

taskmanager.numberOfTaskSlots: 32

# Specify whether TaskManager memory should be allocated when starting up (true) or when
# memory is required in the memory manager (false)
# Important Note: For pure streaming setups, we highly recommend to set this value to `false`
# as the default state backends currently do not use the managed memory.

taskmanager.memory.preallocate: false

# The parallelism used for programs that did not specify and other parallelism.

parallelism.default: 1

Кластер работает нормально, но затрачивает память на работу и, наконец, завершается с использованием свопа и диска.

Я надеюсь, что это проблема с конфигом, но если вам нужно больше информации о докере, пожалуйста, сообщите мне

...