Импала одновременной задержки запроса - PullRequest
Новая
       39

Импала одновременной задержки запроса

0 голосов
/ 21 сентября 2018

Моя конфигурация кластера выглядит следующим образом:

  1. 3 узла кластера
  2. 128 ГБ ОЗУ на узел кластера.
  3. Процессор: 16 ядерHyperThreaded для каждого узла кластера.Все 3 узла имеют главный сервер Kudu, T-сервер и сервер Impala, один из них имеет каталог Impala и Impala StateStore.

Мои проблемы заключаются в следующем:

1) Мне сложно понять динамическое объединение ресурсов в Impala при выполнении параллельных запросов.Я пытался дать mem_limit все еще безуспешно.Я также пробовал статический пул сервисов, но с этим я также не смог достичь требуемого параллелизмаДаже при управлении доступом требуемый параллелизм не был достигнут. 

 I) The time taken for 1 query: 500-800ms.

 II) But if 10 concurrent queries are given the time taken grows to 3-6s per query.

 III) But if more than 20 concurrent queries are given the time taken is exceeding 10s per query.

2) Один из моих узлов кластера не принимает нагрузку после отправки запроса, я проверил это по сводке запроса.Я попытался указать NUM_NODES в виде 0 и 1 для узла, который не принимает нагрузку, однако сводка показывает, что узел не принимает нагрузку.

...