Как я могу определить, является ли мой параметр конфигурации hadoop io.sort.factor слишком маленьким или слишком большим?

Question

После прочтения http://gbif.blogspot.com/2011/01/setting-up-hadoop-cluster-part-1-manual.html мы пришли к выводу, что наш 6-узловый кластер hadoop может использовать некоторую настройку, и io.sort.factor кажется хорошим кандидатом, поскольку он контролирует важный компромисс. Мы планируем настройку и тестирование, но планирование заранее и знание того, чего ожидать и на что следует обратить внимание, кажется разумным.

Сейчас 10. Откуда нам знать, что это вызывает слишком много слияний? Когда мы поднимаем его, как мы узнаем, что это приводит к открытию слишком большого количества файлов?

Обратите внимание, что мы не можем напрямую следить за выдержками из блога, так как он обновлен до CDH3b2, и мы работаем над CDH3u2, и они изменились ...

Answer 1

Есть несколько компромиссов для рассмотрения.

1. количество поисков, выполняемых при объединении файлов. Если вы увеличите коэффициент слияния слишком высоко, тогда стоимость поиска на диске превысит экономию от параллельного слияния (обратите внимание, что кэш ОС может несколько смягчить это).

2. Увеличение коэффициента сортировки уменьшает объем данных в каждом разделе. Я считаю, что число io.sort.mb / io.sort.factor для каждого раздела отсортированных данных. Я полагаю, что общее правило заключается в том, чтобы иметь io.sort.mb = 10 * io.sort.factor (я полагаю, что это основано на задержке поиска диска по скорости передачи. Я уверен, что это можно настроить лучше, если это было вашим узким местом. Если вы держите их в соответствии друг с другом, тогда издержки поиска от слияния должны быть сведены к минимуму

3. Если вы увеличите io.sort.mb, то увеличите нагрузку на память в кластере, оставив меньше памяти для задач. Использование памяти для сортировки - задачи mapper * io.sort.mb - так что вы можете вызвать дополнительные GC, если это слишком много

По существу,

Если вы обнаружите, что сильно обмениваетесь, то есть большая вероятность, что вы установили слишком высокий коэффициент сортировки.

Если соотношение между io.sort.mb и io.sort.factor неправильное, вам может потребоваться изменить io.sort.mb (если у вас есть память) или уменьшить коэффициент сортировки.

Если вы обнаружите, что проводите больше времени в своих средствах сопоставления, чем в средствах восстановления, вы можете увеличить количество задач сопоставления и уменьшить коэффициент сортировки (при условии, что существует нехватка памяти).