Как развернуть кластер HDP без HDFS?

Question

Как развернуть кластер HDP без HDFS, поскольку я не хочу HDFS для хранения и буду использовать собственную систему хранения в памяти.Как это может быть сделано?

Answer 1

HDFS - это реализация Hadoop FileSystem API, которая моделирует поведение файловой системы POSIX.

Вы, вероятно, имеете в виду хранилища объектов в местах, часто используя термин Blobstore.Hadoop предоставляет клиентские классы FileSystem для некоторых из них, даже если они нарушают многие требования.Вот почему, хотя Hadoop может читать и записывать данные в хранилище объектов, два, которые Hadoop поставляет с прямой поддержкой - Amazon S3 и OpenStack Swift - , не могут использоваться в качестве прямой замены для HDFS.

Для дальнейшего чтения Хранилища объектов против файловых систем

Answer 2

HDFS и MapReduce являются основной внутренней частью Hadoop.Они поставляются в комплекте с пакетом Hadoop.Вы не можете исключить HDFS во время развертывания кластера HDP.Вы можете исключить другие службы, кроме HDFS, но не можете исключить HDFS.