Как мне установить количество треккеров на узел в кластере?

Question

Я вижу, что мы можем установить количество задач сопоставления / уменьшения для каждого треккера, но как мне установить количество трекеров для одного узла в кластере?

Как отключить защиту, чтобы я мог запускать более одного треккинга для каждого узла?Достаточно ли установить dfs.permissions в false в hdfs-site.xml?

Арун

Answer 1

Зачем вам нужно несколько треккеров? Вы можете запустить несколько заданий в зависимости от количества слотов, которые вы установили в треккере задач. JobTracker обращается к TaskTracker, чтобы выяснить, есть ли у него свободные слоты на сервере (начиная с того же узла, где находятся данные, и в другом месте, если это невозможно). Если у вас есть несколько систем отслеживания задач, они не будут знать о реальной загрузке на сервере и производительность может ухудшиться

Вы должны установить количество слотов, максимальное количество карт и максимальное количество сокращений в зависимости от памяти и возможностей процессора ваших узлов (вы можете начать с ядра для каждой задачи, но если вы знаете, что ваши задачи малы на CPU вы можете установить это выше)

Answer 2

Если у вас 8-ядерный компьютер с однопоточной моделью, отводя 1 поток для датододы, 1 для TaskTracker, вы можете иметь 6 доступных потоков.В зависимости от необходимости программы, у вас может быть 4 карты, 2 редуктора.Если карты не нагружают процессор, вы можете увеличить количество картографов.Также назначьте надлежащую память каждой карте / уменьшите задачу, основанную на RAM системы.