Что я могу сделать, чтобы улучшить (уменьшить) ожидание высокого IO в искре в локальной установке? Моя установка свечи работает на YARN.
Я знаю, что дешевым способом сделать это является увеличение памяти исполнителя и попытка иметь достаточно памяти, чтобы перемешивание происходило только в памяти (чтобы уменьшить количество операций ввода-вывода при записи в произвольном порядке),Но это не всегда помогает.
Что еще возможно?