У меня есть следующие этапы на веб-странице Spark (используется с пряжей):
То, что меня удивляет Stage 0повторите 1, повторите 2. Что может вызвать такую вещь?
Я попытался воспроизвести его самостоятельно и убил все процессы-исполнители (CoarseGrainedExecutorBackend) на одном из моих кластерных компьютеров, но все, что я получил, это некоторые неудачные задачи с описанием Resubmitted (resubmitted due to lost executor).
В чем причина повтора этапа?И что мне интересно, так это то, что количество записей, прочитанных на каждой стадии попытки, было разным:
и
Обратите внимание на 3011506 в Attempt 1 и 195907736 в Attempt 0.Вызывает ли повторение этапа Spark перечитывает некоторые записи дважды?