HDFS на docker контейнерах - возможно ли это?

Question

мы используем Had oop кластер на основе версии HDP - 2.6.5 с платформой ambari

, мы хотим знать, можем ли мы использовать следующие компоненты HDFS в контейнерах docker как:

1. journal nodes 
2. ZK fail controller
3. NameNode ( HA with active namenode and standby namenode )

после некоторого поиска мы не нашли так много документации о HDFS на docker контейнерах

, поэтому я предполагаю, что HDFS на docker контейнерах не является хорошей реализацией

Я буду рад получить больше идей об этом?

Answer 1

Насколько мне известно, у Cloudera нет такой документации. Возможно, они работают над будущим продуктом Kubernetes, но это только то, что я слышал.

Да, возможно использовать Docker, но он не будет поддерживаться ни одним крупным поставщиком Had oop, и, вероятно, будет очень сложно справиться с требованиями к сети и хранилищу.

MinIO, возможно, будет лучшей альтернативой, чем HDFS, при использовании Docker