Что такое память задач по умолчанию?

Question

Конфигурация Hadoop Map-Reduction обеспечивает mapred.task.limit.maxvmem и mapred.task.default.maxvmem.

В соответствии с документацией оба являются значениями типа long, который представляет собой число в байтах, представляющее ограничение по умолчанию для верхнего / верхнего уровня VMEM, связанное с задачей. Похоже, что значение «long» в этом контексте - 32 бита, а значения, превышающие 2 ГБ, могут привести к тому, что в качестве ограничения будут использоваться отрицательные значения.

Я работаю в 64-битной системе, и 2 ГБ намного ниже предела, который я на самом деле хочу установить.

Есть ли способ обойти это ограничение?

Я использую hadoop версию 0.20.1

Answer 1

Значение long в этом контексте относится к объему пространства, необходимого для хранения параметра, а не к фактическому объему памяти, который может быть адресован. Таким образом, вы можете использовать минимальное значение -9,223,372,036,854,775,808 и максимальное значение 9,223,372,036,854,775,807 включительно. Но обычно long в любом случае представляет 64 бита данных.