Как могут быть высокие значения ожидания ввода-вывода, чтобы уменьшить искру при работе с пряжей в мультитенантной конфигурации? - PullRequest
0 голосов
/ 01 октября 2019

Что я могу сделать, чтобы улучшить (уменьшить) ожидание высокого IO в искре в локальной установке? Моя установка свечи работает на YARN. enter image description here

Я знаю, что дешевым способом сделать это является увеличение памяти исполнителя и попытка иметь достаточно памяти, чтобы перемешивание происходило только в памяти (чтобы уменьшить количество операций ввода-вывода при записи в произвольном порядке),Но это не всегда помогает.

Что еще возможно?

...