Как отслеживать состояние работоспособного сервера Hive в Spark, размещенном в кластере AWS EMR? - PullRequest
0 голосов
/ 13 декабря 2018

Мы используем JDBC для подключения к Hive Thrift-серверу в нашем искровом EMR-кластере.У нас были некоторые временные проблемы сбоя экономичного сервера и перезапуска вручную.

Нам интересно, есть ли какой-нибудь [надеюсь простой] способ для мониторинга работоспособности благотворительного сервера?По крайней мере, мы хотели бы получать оповещения, когда он идет вниз.Также было бы неплохо иметь другие показатели работоспособности сервера.

1 Ответ

0 голосов
/ 14 декабря 2018

Комиссионный сервер Hive - это просто искровое приложение, и он также предоставляет вам Spark UI для отслеживания всех выполняемых вами запросов, потребления памяти и много другой информации.

Порт по умолчанию для любого искрового интерфейса - 4040. Ноесли нет.

Затем выполните команду jps на главном компьютере.это перечислит все приложение Java с их соответствующими идентификаторами процесса.И после этого выполните netstat -ntpul | grep <process id>, в котором будут перечислены все порты, связанные с этим процессом.

...