Об использовании большого количества памяти в диспетчере ресурсов в ambari, когда кластер простаивает? - PullRequest
0 голосов
/ 03 февраля 2020

Заметив, что в незанятом кластере

[root@airflowetl ~]# hadoop version
Hadoop 3.1.1.3.1.0.0-78
Source code repository git@github.com:hortonworks/hadoop.git -r e4f82af51faec922b4804d0232a637422ec29e64
Compiled by jenkins on 2018-12-06T12:26Z
Compiled with protoc 2.5.0
From source with checksum eab9fa2a6aa38c6362c66d8df75774
This command was run using /usr/hdp/3.1.0.0-78/hadoop/hadoop-common-3.1.1.3.1.0.0-78.jar

я вижу, что ambari постоянно сообщает о том, что использование кучи RM постепенно увеличивается с ~ 25% до ~ 40-90%, а затем снижается до 25%. image При проверке пользовательского интерфейса RM я не вижу запущенных заданий (и при этом пользовательский интерфейс истории искр не показывает незавершенных заданий) ... image

Любой знаете, почему это будет происходить? Любая другая информация по отладке, которую я должен предоставить (не очень опытный, имел oop админ)? Почему куча менеджера ресурсов (ambari UI) не совпадает с процентами использования сводной панели обзора кластера YARN?

...