Как повысить отказоустойчивость пряжи?В занятом кластере моя работа терпит неудачу из-за слишком многих сбоев.Большая часть сбоев произошла из-за Executor lost базы с вытеснением.
Executor lost
Если у вас включено приоритетное прерывание, вам действительно следует использовать службу внешнего воспроизведения в случайном порядке, чтобы избежать этих проблем.На самом деле мало что можно сделать иначе.
https://issues.apache.org/jira/browse/SPARK-14209 - о чем говорит JIRA.
Закрыть вытеснение пряжи? Или выполнять меньшие задания, чтобы избежать полного пересчета?