Можно ли виртуально разделить кластер hadoop на небольшие кластеры? - PullRequest
0 голосов
/ 27 декабря 2018

Мы работаем над созданием большого кластера из 100 узлов с хранилищем 300 ТБ.Затем мы должны предоставить его разным пользователям (клиентам) с ограниченным ограничением ресурсов, т. Е. Мы не хотим предоставлять полный кластер каждому пользователю.Является ли это возможным ?Если это невозможно, то каковы другие способы сделать это?Существуют ли какие-либо встроенные решения?Это похоже на разделение кластера по требованию.

1 Ответ

0 голосов
/ 27 декабря 2018

В hadoop 2 существует концепция HDFS Federation , которая может разбивать пространство имен файловой системы на несколько разделенных наменодов, каждый из которых управляет частью пространства имен файловой системы.

...