Сколько стручков Spark Executor вы запускаете на узел Kubernetes - PullRequest
0 голосов
/ 28 мая 2019

Spark требуется много ресурсов для выполнения своей работы.Kubernetes - отличная среда для управления ресурсами.Сколько Spark POD вы используете для каждого узла, чтобы обеспечить наилучшее использование ресурсов?

Попытка запустить Spark Cluster в Kubernetes Cluster.

1 Ответ

0 голосов
/ 25 июня 2019

Это зависит от многих факторов. Нам нужно знать, сколько у вас ресурсов и сколько их потребляют капсулы. Для этого вам необходимо настроить Metrics-сервер .

Metrics Server - это кластерный агрегатор данных об использовании ресурсов.

Следующим шагом является настройка HPA.

Горизонтальный модуль автоматического масштабирования автоматически масштабирует количество модулей в контроллере репликации, развертывании или наборе реплик на основе наблюдаемого использования ЦП или других пользовательских метрик. HPA обычно выбирает метрики из серии агрегированных API:

  • metrics.k8s.io
  • custom.metrics.k8s.io
  • external.metrics.k8s.io

Как заставить это работать?

HPA поддерживается kubectl по умолчанию:

  • kubectl create - создает новый автоскалер
  • kubectl get hpa - перечисляет ваши автоскалер
  • kubectl describe hpa - получает подробное описание автоскалер
  • kubectl delete - удаляет автоскалер
* * Пример одна тысяча тридцать восемь: kubectl autoscale rs foo --min=2 --max=5 --cpu-percent=80 создает автоматическое масштабирование для набора репликации foo с целевым использованием ЦП, установленным на 80%, и числом реплик от 2 до 5. Вы можете и должны настроить все значения в соответствии со своими потребностями.

Здесь - подробная документация по использованию команды kubectl autoscale.

Пожалуйста, дайте мне знать, если вы найдете это полезным.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...