в настоящее время я использую огромный spark streaming application
(который читает и пишет в kafka), что делает распределенное объединение ( updateStateByKey)
. Spark
работает на YARN
, который имеет 3 узла. Проблема в том, что spark
планирует все исполнители на одном хосте. Всего создано 30 исполнителей, но все они на одном хосте. В результате происходит несбалансированное распределение нагрузки. Как я могу избежать этого и заставить spark
распределить исполнителей на всех хостах (например, 10 исполнителей на хост)