Понимание хранения в mapWithState - PullRequest
0 голосов
/ 19 сентября 2018

Я запускаю свою программу потокового воспроизведения с mapWithState.Он принимает только 2 тыс. Записей в секунду.Мне интересно следующее 1. Почему этот RDD называется MapWithStateRDD?2. Что еще более важно, почему он использует только 20 СДЗ для хранения.Это потому, что я использую 20 приемников, работающих параллельно?Поможет ли увеличение параллелизма до 30 или даже 40?Если я так делаю, то о чем я должен следить?

enter image description here

...