Можем ли мы запустить несколько разделений параллельно на машине с одним узлом?

Question

Я использую hadoop на компьютере с одним узлом. Когда я запускаю большой файл размером 1 ГБ и размером разделения 128 МБ. Таким образом, он запускает файл в 8 разделениях, но эти разделения выполняются последовательно, что означает, что одно разделение начинает выполняться после завершения другогоТрещина. Нужно ли нам устанавливать какое-либо значение свойства для параллельного запуска разбиений на машине с одним узлом.

Answer 1

Hadoop предоставляет инфраструктуру распределенной обработки (batch), то есть MapReduce, которая выполняет задачи параллельно. Но уровень параллелизма зависит от количества машин в вашем кластере. Параллелизмом также можно управлять с помощью input split size, но поскольку у вас есть отдельная установка, параллелизм не может быть достигнут.