Апач Престо с Кубернетес

Question

Мы пытаемся внедрить Apache Presto с Kubernetes. У нас есть кластер kubernetes, работающий в облаке как сервис. Я попытался отгадать это, но не смог найти убедительного результата о том, что может быть лучшим способом развертывания Presto с Kubernetes. Хотя существует официальный github Presto - но не помогает. Ниже приведены два вопроса, на которые я пытаюсь найти ответ:

1. Каким должен быть наилучший подход для настройки Presto с Kubernetes - такими показателями, как идеальные рабочие реплики?
2. Как мы можем продолжить и протестировать производительность этого развертывания?

Answer 1

Вы можете установить с официальным графиком руля от https://github.com/helm/charts/tree/master/stable/presto. Он позволяет установить количество рабочих.На официальном графике вы сможете задавать вопросы в слабом канале графиков Кубернетеса (через http://slack.k8s.io) и поднимать проблемы в GitHub, если вы нажмете на них. Или есть примеры, не относящиеся к рулю, такие как https://github.com/dharmeshkakadia/presto-kubernetes

Вопрос о том, сколько рабочих не относится к Kubernetes. Это вопрос о том, сколько и какой нагрузки вам потребуется для развертывания, а также будет зависеть от того, какое оборудование использует ваш кластер Kubernetes.Если вы не уверены, то, возможно, вы сможете развернуть с настройками по умолчанию и при необходимости отрегулировать. Это предлагается https://prestodb.io/presto-admin/docs/current/installation/presto-configuration.html Некоторые параметры, такие как память на узел, вы найдете в частях Развертывания дескрипторов yaml kubenernetes илив файле values.yaml в случае рулевой диаграммы.

Для тестирования производительности вашего развертывания вам понадобятся тестовые данные, а затем можно будет выполнять запросы к кластеру. Таким же образом вы будете следовать за пределами Kubernetes.такие инструменты, как https://www.lewuathe.com/use-benchto-for-evaluation-of-presto.html или https://github.com/prestodb/tempto Вы также можете захотетьсмотреть на https://kognitio.com/blog/presto-performance-powerful-or-problematic/

Answer 2

Есть несколько примеров того, как этого можно достичь, например, dharmeshkakadia / presto-kubernetes , но я думаю, что вы, возможно, захотите использовать StatefulSet здесь, скорее. Не уверен насчет тестов perf, потому что большая часть его будет зависеть от типа постоянного тома, который вы выберете или, точнее, от того, на что он опирается, например, NFS, Ceph, или, может быть, вы находитесь в облачной среде с собственным хранилищем?