PRESTO + доза Presto Кординатор может управлять 160 рабочих узлов?

Question

У нас есть Presto кластер с 160 рабочими узлами.

• Presto Координатор установлен на машине VM (32G + 16 ЦП), а все остальные рабочие машины (физические машины)

основной вопрос - - еслиМашина с координатором Presto может обслуживать 160 рабочих машин

в дополнение к этому:

1. Как мы определяем размер для координатора Presto (память, процессор)?

2. Какова оптимальная формула определения размера для машины координатора?

3. Координатор дозы Presto может обрабатывать 160 рабочих машин и управлять ими?,

4. Дозатор Presto ограничен в управлении машиной до X рабочих машин?

благоговение - http://prestodb.github.io/docs/current/overview/concepts.html

Координатор Координатор Presto - это сервер, который отвечает за синтаксический анализ операторов, планирование запросов и управление рабочими узлами Presto.Это «мозг» установки Presto, а также узел, к которому подключается клиент, чтобы подать операторы для выполнения.Каждая установка Presto должна иметь координатора Presto вместе с одним или несколькими рабочими Presto.Для целей разработки или тестирования можно настроить один экземпляр Presto на выполнение обеих ролей.

Координатор отслеживает активность каждого работника и координирует выполнение запроса.Координатор создает логическую модель запроса, включающую ряд этапов, которые затем преобразуются в серию связанных задач, выполняемых в кластере работников Presto.

Координаторы взаимодействуют с работниками и клиентами с помощью API REST.

Рабочий Рабочий Presto - это сервер в установке Presto, который отвечает за выполнение задач и обработку данных.Рабочие узлы извлекают данные из соединителей и обмениваются промежуточными данными друг с другом.Координатор отвечает за выборку результатов от рабочих и возврат окончательных результатов клиенту.

Когда рабочий процесс Presto запускается, он объявляет себя на сервере обнаружения в координаторе, что делает его доступным дляКоординатор Presto для выполнения задач.

Рабочие общаются с другими работниками и координаторами Presto с помощью REST API.

Answer 1

TL; DR в целом, координатор может легко обрабатывать гораздо больше рабочих узлов, чем 160, но ваш пробег может варьироваться.

Более длинная версия Координатор Presto может управлять1000 рабочих.Тем не менее, вы просите координатора с конкретными ресурсами памяти и процессора.Ответ - это зависит .

Координатор отслеживает выполнение заданий среди рабочих, поэтому ограничения памяти зависят от сложности ваших запросов.Кроме того, когда вы запрашиваете многораздельные таблицы (например, в S3, Hive), некоторая информация о разделах, к которым обращается запрос, должна обязательно храниться в памяти.Если у вас есть несколько запросов, это складывается.