Что я могу сделать, чтобы улучшить (уменьшить) ожидание высокого IO в искре в локальной установке? Моя установка свечи работает на YARN. ![enter image description here](https://i.stack.imgur.com/FXKOK.png)
Я знаю, что дешевым способом сделать это является увеличение памяти исполнителя и попытка иметь достаточно памяти, чтобы перемешивание происходило только в памяти (чтобы уменьшить количество операций ввода-вывода при записи в произвольном порядке),Но это не всегда помогает.
Что еще возможно?