Запуск заданий в кластере spark 2.3, я заметил в веб-интерфейсе spark, что разлив происходит для некоторых задач:
Я понимаю, что на стороне редуктора редуктор извлек нужные разделы (чтение в произвольном порядке), а затем выполнил вычисление редукции с использованием памяти выполнения исполнителя. Из-за нехватки памяти для выполнения были пролиты некоторые данные.
Мои вопросы:
- Я прав?
- Где данные пролиты? Веб-интерфейс Spark сообщает, что некоторые данные были перенаправлены в память случайная разлитая информация (память) , но на диск ничего не вылилось случайная разлитая жидкость (диск)
Заранее спасибо за помощь