Разбор журналов hiveserver2 для получения пользователя, запроса и ошибки - PullRequest
0 голосов
/ 15 ноября 2018

У нас есть кластер AWS EMR, где пользователи выполняют тысячи запросов через JDBC. Иногда просто возвращаются с сообщением об ошибке и спрашивают нас о деталях ошибки. Обычно мы в конечном итоге копаем логи и получаем детали.

Вместо этого кто-нибудь знает о каком-либо синтаксическом анализаторе, который будет анализировать файл журнала и предоставлять такие данные, как пользователь, запрос, время и состояние?

Кроме того, любой пакет / API Python, который может дать мне идентификатор приложения, когда запрос запускается через JDBC?

Примечание: я знаю, что appID можно получить из менеджера ресурсов, но это включает в себя запуск таких команд, как приложение пряжи и т. Д. Я ищу решение API.

Спасибо

...