Что означает расстояние между узлами в Apache Hadoop? - PullRequest
0 голосов
/ 21 мая 2018

Я читал вопрос в интервью в Hadoop, в котором говорилось:

Как вы получите расстояние между двумя узлами в Apache Hadoop?

есть решение дляэто, но я действительно не понимаю термин расстояние между двумя узлами.

что это значит?

1 Ответ

0 голосов
/ 08 июня 2018

Hadoop HDFS - это распределенная система, и более крупный кластер означает больше сетевых коммутаторов.

когда вы читаете файлы, выбрасывайте HDFS. Сначала вы запрашиваете имя узла, чтобы получить информацию о расположении файловых блоков.Эти блоки распределены по разным машинам.

, если в какой-то момент из узла данных, из которого вы извлекаете данные из мертвых, вы получаете эти данные из другой реплики, не беспокоя пользователей об этом.Вы получите данные от ближайшего компьютера.Смысл близости в действительности трудно измерить.Потому что это зависит от физического расстояния и непредсказуемой загрузки системы, такой как избыточное использование метрики.По этой причине речь идет о топологии центра обработки данных.

, поэтому важно знать расстояние между узлами в Hadoop

...