Можно ли устранить единую точку отказа в Hadoop, интегрировав Zookeeper?

Question

Я ищу решение проблемы единичного сбоя путем интеграции Zookeeper и разрешения Hadoop использовать пространство имен из Zookeeper? Является ли это возможным? как мы можем решить это

Answer 1

Конечно, это может быть технически возможно, но это еще не то, что было реализовано в какой-либо форме или форме.Вы не можете просто подключить его к ZooKeeper ... потребуются некоторые инженерные усилия, чтобы сделать это (возможно, вы?!).

Вот несколько советов по решению этого вопроса:

• AvatarNode
• MapR (коммерческое программное обеспечение)
• NameNode высокой доступности был в работе иможет скоро закончиться в будущем выпуске

Answer 2

Это не очень хорошо работает. Стоимость записи в Zookeeper высока. Чем больше узлов в кластере ZK, тем выше стоимость. ZK хранит все данные в памяти на всех узлах. Namenode, напротив, является компонентом, ориентированным на запись, особенно если вы говорите о Hadoop, который очень тяжелый для записи.