Контейнер Hadoop потерпел неудачу даже на 100% - PullRequest
Новая
       46

Контейнер Hadoop потерпел неудачу даже на 100%

0 голосов
/ 22 февраля 2019

Я установил небольшой кластер Hadoop 2.7, Hbase 0.98 и Nutch 2.3.1.Я написал специальное задание, которое сначала просто объединяет документы одного и того же домена, после чего каждый URL домена (из кеша, т. Е. Списка) сначала получается из кеша, а затем соответствующий ключ используется для извлечения объекта через datastore.get(url_key) изатем, после обновления счета, оно записывается через context.write.

Задание должно завершаться после обработки всех документов, но, как я заметил, каждая попытка в случае неудачи из-за тайм-аута и прогресса завершена на 100%.Вот ЛОГ 

attempt_1549963404554_0110_r_000001_1   100.00  FAILED  reduce > reduce node2:8042  logs    Thu Feb 21 20:50:43 +0500 2019  Fri Feb 22 02:11:44 +0500 2019  5hrs, 21mins, 0sec  AttemptID:attempt_1549963404554_0110_r_000001_1 Timed out after 1800 secs Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143
attempt_1549963404554_0110_r_000001_3   100.00  FAILED  reduce > reduce node1:8042  logs    Fri Feb 22 04:39:08 +0500 2019  Fri Feb 22 07:25:44 +0500 2019  2hrs, 46mins, 35sec AttemptID:attempt_1549963404554_0110_r_000001_3 Timed out after 1800 secs Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143
attempt_1549963404554_0110_r_000002_0   100.00  FAILED  reduce > reduce node3:8042  logs    Thu Feb 21 12:38:45 +0500 2019  Thu Feb 21 22:50:13 +0500 2019  10hrs, 11mins, 28sec    AttemptID:attempt_1549963404554_0110_r_000002_0 Timed out after 1800 secs Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143

Что это такое, т.е. когда попытка завершена на 100,00%, она должна быть помечена как успешная.К сожалению, в моем случае есть какая-либо информация об ошибке, кроме времени ожидания.Как отладить эту проблему?Мой редуктор несколько отослан к другому вопросу Время обновления карты Apache Nutch 2.3.1 произошло при обновлении оценки

1 Ответ

0 голосов
/ 22 февраля 2019

Я заметил, что в упомянутых 3 журналах время, необходимое для выполнения, изменяется с большой разницей.Пожалуйста, посмотрите на работу, которую вы выполняете один раз.

...