Возможная утечка памяти на кластере hadoop?(улей, hiveserver2, дирижабль, искра) - PullRequest
0 голосов
/ 12 декабря 2018

Использование кучи hiveserver2 постоянно увеличивается (первая картинка).Существуют такие приложения, как nifi, zeppelin, spark, связанные с ульем.Нифи использует puthivesql, zeppelin использует jdbc (hive), а spark использует spark-sql.Я не мог найти ключ к этому.

enter image description here

1 Ответ

0 голосов
/ 12 декабря 2018

Hive требует много ресурсов для установления соединения.Итак, первая причина - множество запросов в вашем процессоре puthiveql, потому что каждому из них необходимо открыть соединение.Привлеките внимание в своем браузере заданий куста (для этого вы можете использовать оттенок)

Возможное разрешение: например, если вы используете запросы на вставку - используйте файлы orc для вставки данных.Если вы используете запросы на обновление - используйте временную таблицу и запрос слияния.

...