Запрос, связанный с несколькими узлами Hadoop на одном компьютере с использованием виртуальной машины

Question

Я немного новичок в hadoop. Я реализовал некоторую задачу в hadoop. До сих пор я запускаю его в кластере с одним узлом. Я думаю, чтобы отклониться к кластеру из нескольких узлов.

Если я настроил несколько узлов в одной системе, используя 2 виртуальные машины (установка Ubuntu на обе виртуальные машины), производительность может увеличиться или она останется такой же, как и на той же машине.

(Я думаю, что если я буду запускать несколько узлов на одной и той же машине, то время, необходимое для выполнения, будет одинаковым или может быть больше, потому что все процессы будут в очереди на выполнение, поскольку они будут работать на одной и той же машине. Я думаю, что это правильно. Если я не прав, пожалуйста, поправьте, поскольку я очень мало об этом думаю)

Пожалуйста, дайте мне знать как можно скорее. Спасибо всем.

Answer 1

Производительность почти наверняка по следующим причинамL: 1) У вас будет меньше памяти для выполнения задач, поскольку у виртуальных машин их служебная нагрузка
2) Сеть будет медленнее между виртуальными машинами, чем внутри одной и той же ОС.
3) Виртуальные машины будут вводить некоторые издержки дискового ввода-вывода (хотя они относительно небольшие).
4) Насколько я знаю, накладные расходы на работу связаны с размером кластера, поэтому, вероятно, 1 узел. Кластер Mbr>
будет быстрее начинать работу, чем кластер с двумя узлами.

Я также не вижу причин, по которым такой кластер будет работать лучше.

Answer 2

Это зависит от вашей точной конфигурации, но, скорее всего, производительность будет ниже. Если вы не добавили больше памяти, больше ЦП и больше ввода-вывода при добавлении новой виртуальной машины, то две виртуальные машины будут бороться за одни и те же ресурсы ...