Искра Streaming с картой с проблемой производительности - PullRequest
0 голосов
/ 14 октября 2018

Я внедряю Spark Streaming Application, где приложение работает в режиме 24/7 для каждого входящего сообщения от Kafka, для которого необходимо выполнить некоторые агрегации, поэтому для этих агрегаций я сохраняю предыдущее состояние в местоположении контрольной точки.Он работает нормально, но к тому времени производительность ухудшается с помощью метода mapwithstate при потоковой передаче искры.Как стабилизировать производительность?Я очень благодарен, если кто-нибудь поможет мне решить эту проблему.заранее спасибо.

...