что отвечает за мастер HDFS (Namenode) - PullRequest
0 голосов
/ 01 мая 2020

Здравствуйте, кто-нибудь может мне объяснить, что такое мастер HDFS (за что отвечает Namenode? А также что такое метаданные Namenode и Datanode в HDFS. Я недавно начал изучать SPARK, но наша лекция была недостаточно глубокой для HDFS. Большое спасибо

1 Ответ

0 голосов
/ 01 мая 2020

HDFS имеет архитектуру ведущий / ведомый. Кластер HDFS состоит из одного NameNode, главного сервера, который управляет пространством имен файловой системы и регулирует доступ клиентов к файлам. Кроме того, существует несколько узлов данных, обычно по одному на узел в кластере, которые управляют хранилищем, подключенным к узлам, на которых они работают. HDFS предоставляет пространство имен файловой системы и позволяет хранить пользовательские данные в файлах. Внутренне файл разбивается на один или несколько блоков, и эти блоки хранятся в наборе узлов данных. NameNode выполняет операции пространства имен файловой системы, такие как открытие, закрытие и переименование файлов и каталогов. Он также определяет отображение блоков на узлы данных. Узлы данных отвечают за обслуживание запросов на чтение и запись от клиентов файловой системы. Узлы данных также выполняют создание, удаление и репликацию блоков по указанию узла имени.

https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html#NameNode + и + узлы данных

https://www.edureka.co/blog/apache-hadoop-hdfs-architecture/

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...