Presto Hive Метастор связи

Question

В одном из моих приложений я использовал presto и hive-metastore для запроса данных из s3.Чтобы настроить hive-metastore на производстве (я собираюсь развернуть presto и hive на отдельных контейнерах докера), я просто хотел узнать, создает ли presto несколько соединений с hive-metastore для одновременных запросов или создает одно соединение с hivemetastore и использовать одно и то же для всех одновременных запросов?

например, скажем, в моем приложении, например, выполняется 100 запросов, поэтому нужно будет создать 100 соединений с hive-metastore или просто создать одно соединение и использовать одно и то же для всехзапросы?

Я новичок во всех этих вещах, поэтому, возможно, упускаю что-то очевидное.Заранее спасибо.

Answer 1

Presto создаст отдельное соединение с метастазами для каждой операции метастазов (вызов Thrift RPC).Нет пула соединений или повторного использования, поэтому соединения недолговечны.Доступ к метастазу осуществляется во время планирования для получения метаданных таблицы и во время выполнения запроса для получения метаданных раздела.Для метаданных таблицы один запрос не должен выполнять параллельные запросы.Для метаданных раздела управление параллелизмом осуществляется через свойство config hive.split-loader-concurrency, хотя это также включает в себя список файлов в файловой системе.Вызовы Metastore обычно бывают быстрыми, поэтому количество одновременных подключений обычно должно быть намного меньше, чем количество одновременных запросов Presto.