Приложение Hive показывает запуск даже после убийства из командной строки - PullRequest
Новая
       54

Приложение Hive показывает запуск даже после убийства из командной строки

0 голосов
/ 08 января 2019

Я выполнил запрос улья на прилично большом наборе данных, и этот запрос занимал слишком много времени, поэтому я решил убить приложение с помощью: 

    yarn kill -application-id

Теперь, когда я проверяю из CLI с: 

    yarn application -list

тогда вышеупомянутое приложение не появляется в списке.

Однако, когда я вхожу в представление Tez из ambari, приложение обнаруживает, что все еще находится в рабочем состоянии (почти 24 часа с момента его создания).

Я попытался убить его снова из командной строки, но он говорит, что приложение уже завершено.

Я также зарегистрировал пользовательский интерфейс диспетчера ресурсов, и состояние этого задания показывает, что оно было уничтожено.

Из-за этого всякий раз, когда я пытаюсь запустить какое-либо новое задание куста, оно просто ставится в очередь, и я не могу запускать какие-либо другие задания.

Пожалуйста, помогите!

Ответы [ 2 ]

0 голосов
/ 09 января 2019

Таким образом, я нашел способ очистить очередь, чтобы можно было выполнять другие запросы: перейти на / hadoop / yarn / timeline, сделать резервную копию файлов и перезапустить YARN. Очередь TEZ была очищена, и я мог снова начать выполнять запросы из представления улья.

Однако следует отметить, что это очистит все запросы (для всех пользователей).

0 голосов
/ 09 января 2019

TEZ VIEW - экспорт информации сервера временной шкалы приложения. Если вы используете уничтожение пряжи, куст не сообщает должным образом серверу временной шкалы приложений YARN, что запрос был завершен. Таким образом, вы все еще видите, что они выполняются в представлении tez, потому что ATS никогда не получал обновления, которое перешло в состояние остановки / сбоя. Если вы не можете запускать новые задания кустов, это не будет связано с тем, что убитые приложения по-прежнему отображаются как запущенные в представлении tez, и вам следует устранять их отдельно. Описанная вами ошибка является чисто косметической и задокументирована в следующих местах:

...