Spark не распределяет исполнителей одинаково - PullRequest
0 голосов
/ 01 апреля 2019

в настоящее время я использую огромный spark streaming application (который читает и пишет в kafka), что делает распределенное объединение ( updateStateByKey). Spark работает на YARN, который имеет 3 узла. Проблема в том, что spark планирует все исполнители на одном хосте. Всего создано 30 исполнителей, но все они на одном хосте. В результате происходит несбалансированное распределение нагрузки. Как я могу избежать этого и заставить spark распределить исполнителей на всех хостах (например, 10 исполнителей на хост)

...