Мы делаем grep для файла hdfs.тот же поиск в локальном файле дает более быстрые результаты по сравнению с заданием Hadoop.
Hadoop 2.9.9
Узлы данных: 2
память: 64 ГБ ОЗУ / 128 ГБ Перестановка на каждом узле данныхРазмер блока файла Hadoop: 128M
Размер входного файла hdfs составляет 1 ГБ в формате gz
Команда задания Hadoop: 20 минут
Локальная команда grep: 2 минуты 30Sec
Мы выполняем команду потоковой передачи hadoop с-Dmapred.map.tasks = 16 -Dmapred.reduce.tasks = 16 опций.
Какие еще параметры я должен рассмотреть ??
Заранее спасибо