Как изменить размер оперативной памяти для задачи Aurora в кластере Heron, развернутом в планировщике Aurora? - PullRequest
0 голосов
/ 29 июня 2018

Я развернул Heron cluster, используя aurora-scheduler и Mesos. И когда я запустил WordCountTopology по умолчанию с использованием этого кластера, я обнаружил, что ram требование задачи Аврора 4G. Тем не менее, конфигурация WordCountToplogy выглядит следующим образом:

componentRam: 1G
containerRamRequested: 1G
containerCpuRequested: 2 cores
containerDiskRequeted: 2G

Содержание Aurora task.json: enter image description here

Это показывает, что эта задача Авроры требует 4-граммовых ресурсов ОЗУ. Но я не знаю, почему он запрашивает 4G оперативной памяти. И как изменить это требование оперативной памяти? Кроме того, в моем кластере heron есть два подчиненных хоста, и эти ресурсы хоста: enter image description here

1 Ответ

0 голосов
/ 02 июля 2018

В дополнение к Ram, запрашиваемому компонентами топологии, для процессов-демонов heron запрашиваются некоторые дополнительные ресурсы (процессор, память), например, stream-manager. Упаковка дополнительного процессора в RR

Вторая причина для запроса большего ресурса связана с тем, что Aurora допускает только однородные контейнеры. Алгоритм упаковки выберет максимальное количество ресурсов контейнера в качестве запроса ресурса для всех контейнеров. Например, если топология имеет два контейнера: один запрашивает 2 процессора, а другой - 3 процессора. Тогда в конце концов все контейнеры будут запрашивать 3 процессора.

...