Как Spark Scheduler работает в среде K8s?

Question

Вот сценарий:

Запуск 10-узлового кластера Spark в среде K8s (eks).Я хочу, чтобы клиент A использовал первые 5 узлов (node1,2,3,4,5), а клиент B использовал следующие 5 узлов все время.

Я не думаю, что K8s Affinity может помочь мне здесь, потому чтоУ Spark Scheduler есть собственный разум.

Answer 1

Узел Spark! = Узел kubernetes, так что (анти) сходство, дающее подсказки планировщику k8s, как планировать отдельные модули, не может быть и речи.

Разве вы не можете просто развернуть два автономных кластера искр и датьклиент A доступ к первому кластеру (скажем, 1 мастер и 5 рабочих) и аналогично для клиента B?

Если вы хотите попробовать этот сценарий, проверьте также мой https://github.com/radanalyticsio/spark-operator