Значение формата идентификатора задачи в журналах Spark - PullRequest
0 голосов
/ 25 января 2019

У меня запущено тяжелое задание Spark, и на одном из рабочих узлов я получаю инструкцию журнала следующим образом:

2019-01-25 06:34:41 INFO  Executor:54 - Running task 163.1 in stage 0.0 (TID 168)

Я знаю, что здесь 163 - это номер задачи,но что означает другая десятичная часть (.1)?

Я видел, что другие утверждения не имеют этого .1, вместо этого они имеют .0 следующим образом:

2019-01-25 06:34:10 INFO  Executor:54 - Running task 151.0 in stage 0.0 (TID 151)

1 Ответ

0 голосов
/ 25 января 2019

Это номер попытки :

def id: String = s"$index.$attemptNumber"

Число больше 0 указывает, что задача была предпринята ранее и была перенесена, вероятно, из-за сбоя.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...