Разница между hive.tez.container.size и tez.task.resource.memory.mb - PullRequest
0 голосов
/ 29 января 2019

Может кто-нибудь узнать и объяснить мне, пожалуйста, разницу между этими настройками Tez?

hive.tez.container.size и tez.task.resource.memory.mb

спасибо.

1 Ответ

0 голосов
/ 30 января 2019

hive.tez.container.size

Это свойство указывает размер контейнера в тезе.Обычно значение этого свойства должно быть таким же или небольшим (в 1 или 2 раза) размера контейнера YARN yarn.scheduler.minimum-allocation-mb и не должно превышать значение yarn.scheduler.maximum-распределение-МБ .

Как правило, не устанавливайте значение выше, чем память на процессор, так как вам нужно 1 процессор на контейнер, и вы хотите развернуть несколько контейнеров.

Вы можете найти очень подробный ответ иОтличная диаграмма архитектуры в сообществе Hortonworks. Ответ здесь

tez.task.resource.memory.mb

Объем памяти, используемый запущенной задачей в TEZконтейнер.Обычно это значение устанавливается в группе обеспечения доступности баз данных, но если оно не установлено, то по умолчанию оно устанавливается равным 1024 МБ.

Все задачи в группе обеспечения доступности баз данных будут иметь одинаковый размер, это полезно для повторного использования контейнера и также полезно для производительности..

...