Hive JDBC против клиента CLI

Question

Мне нужен доступ к данным с помощью Hive программно (данные в порядке ГБ на запрос).Я оценивал драйвер CLI и драйвер JDBC Hive.

Когда мы используем JDBC, возникает дополнительная нагрузка на экономный сервер, и я пытаюсь понять, насколько это тяжело.Также может ли это быть узким местом в одной точке, если несколько клиентов подключаются к одному комиссионному серверу?Или это обычная практика, когда люди настраивают несколько HQ-серверов на Hadoop и выполняют некоторые функции балансировки нагрузки?

Я ищу более высокую производительность, а не более быстрое создание прототипов.Заранее спасибо.

Answer 1

Ссылка Shengjie не работает - это может правильно автоматически связать:

http://blog.milford.io/2011/07/productionizing-the-hive-thrift-server/

Answer 2

Вы можете попробовать использовать пул соединений.У меня была похожая проблема, хотя отправка запроса улья через JDBC занимала больше времени, чем улей улья.

Также в строке подключения укажите несколько параметров, как показано ниже:

jdbc: hive2: // имя_сервера: portno /; hive.execution.engine = tez; tez.queue.name = alt;hive.exec.parallel = истина; hive.vectorized.execution.enabled = истина; hive.vectorized.execution.reduce.enabled = истина;

Answer 3

С точки зрения производительности, да, экономичный сервер потенциально может быть узким местом и SPF. Я видел, как люди настраивали несколько благотворительных серверов, разговаривающих с mysql metastore. Взгляните на это http://blog.milford.io/2011/07/productionizing-the-hive-thrift-server/.Hope, это помогает.