Как Hadoop передает пользовательские параметры задачам?

Question

В Hadoop как он передает параметр конфигурации пользователя в задачу?Например,

conf.set("myparameter", "somestring")

, тогда я могу получить параметр в mapreduce на conf.get("myparameter").

Это через Serializable?а как насчет других параметров, таких как, например, классы, например, job.setInputFormatClass(TextInputFormat.class); и т. д.

Answer 1

Конфигурация будет сериализована в XML и загружена в HDFS. Каждое задание будет копировать XML в локальную ФС.

Файлы классов находятся в банке, которую вы предоставляете в работе. Имена классов помещаются в конфигурацию, на стороне задачи создаются экземпляры с отражением.

Это причина, по которой э.Г. Записываемые объекты должны иметь конструктор по умолчанию.