Правильное место для "io.sort.mb" в Hadoop? - PullRequest
2 голосов
/ 24 сентября 2011

Я немного запутался, в настройке кластера Hadoop, в разделе " Конфигурации кластера реального мира ", приведен пример, где такие свойства, как io.sort.mb & io.sort.factorв core-site.xml.Но в файлах конфигурации по умолчанию эти свойства отображаются в mapred-site.xml !!!какой я должен следовать?Могу ли я положить его куда-нибудь?Если да, в чем разница между тремя конфигурационными файлами (core, mapred и hdfs .xml)?

Есть ли полный список всех возможных свойств?

Любая помощь очень ценится..

РЕДАКТИРОВАТЬ: Я обнаружил, что метод проб и ошибок io.sort.mb принадлежит mapred-site.xml.

1 Ответ

1 голос
/ 24 сентября 2011

core-default.html , hdfs-default.html и mapred-default.html имеет все свойства со своими значениями по умолчанию.

Согласно «Hadoop: полное руководство»

core-site.xml имеет «Настройки конфигурации для Hadoop Core, такие как настройки ввода-вывода, общие для HDFS и MapReduce.»

hdfs-site.xml имеет «Параметры конфигурации для демонов HDFS: namenode, вторичный namenode и датододы. '

mapred-site.xml имел «Настройки конфигурации для демонов MapReduce: трекер заданий и треккеры заданий».

Дополнительная информация о файлах конфигурации здесь .

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...