Могу ли я установить только HDFS из HDP?

Question

Я хочу использовать HDFS как место для хранения данных для Spark в Kubernetes. Так что мне нужны только HDF от HDP. Но мне интересно, могу ли я установить его без всех других компонентов HDP. Я могу сделать это? Если да, то как?

Answer 1

Вам вообще не нужен Hortonworks. Фактически Spark от HDP скомпилирован только для работы в среде YARN.

Вы можете скачать Spark с HDFS из spark.apache.org, который также будет включать планировщик k8s

Лично я бы рекомендовал использовать Ceph (проект Rook CNCF), MinIO или GlusterFS вместо HDFS в кластере k8s. Каждый из этих вариантов может использовать Had oop FS APIs