Я использую Spark 2.0.2 (в DSE / DataStaX Enterprise Edition 5.1) для запуска какого-либо потокового приложения.
Мое потоковое приложение Spark выполняет для каждого микропакета несколько вызовов RDD.persist ()и RDD.unpersist () НИКОГДА не вызывается (до сих пор мы полагаемся на возможности LRU пространства кеша для неперспективности).
Я думал, что список сохраняемых СДР будет немного расти вВкладка «Хранилище» в интерфейсе Spark.
Однако на этой вкладке «Хранилище» в интерфейсе Spark я вижу только ОЧЕНЬ ограниченный список сохраняемых СДР.Скажем, 10 максимальных постоянных СДР и 1,5 МБ каждый => 15 МБ занимаемого пространства для постоянного СДР, довольно ограниченный объем пространства, поскольку каждый исполнитель имеет 1,5 ГБ кучи.
Поэтому мне интересно:Постоянный объем памяти СДР не сохранялся в конце потоковой микропакета Spark?
Спасибо.