Используйте oop на Kubernetes

Question

Я разрабатываю большую систему анализа данных на основе Had oop.

И я хочу создать систему контейнеров в Kubernetes. Теперь я использую стабильную диаграмму oop на руле, чтобы в настройке было oop, но данные, которые я анализировал, обычно до 100 ГБ.

И kubernetes просто может использовать емкость каталога /. Другими словами, мое задание oop не может использовать ресурс другого диска.

Существуют ли другие подходы, чтобы Kubernetes мог использовать другой ресурс диска как задание контейнера (не как том).

Или я могу настроить рабочие узлы Kubernetes на несистемном диске?

Answer 1

на основе Had oop

Вы можете использовать файловую систему , совместимую с Had oop , с любой системой Had oop -API, включая Apache Искра на Кубернетес.

Вам не нужно, чтобы Hadoop / YARN / MapReduce был "основан на Had oop"

Другими словами, попробуйте что-нибудь еще, что правильно работает в таких окружение, такое как проект Rook (Ceph) или MinIO (S3-like)

Однако я бы предложил , а не поместить хранилище данных в эфемерные контейнеры