Я создал искровое приложение, которое получает входные данные из Apache Flume.Я установил интервал обработки своей свечи на 4 минуты, чтобы свечи обрабатывали данные каждые 4 минуты.Но у меня есть некоторые дорогостоящие партии свечей, которые занимают значительное количество времени (скажем, 30 минут), поэтому в течение этого времени в очереди будет около 7 ожидающих партий свечей, и они начнут обрабатывать одну за другой после завершения дорогостоящей партии.Таким образом, моя искра остается занятой максимальное время.Так как же мне избежать этой очереди?Если моя партия свечей выполняется и если она занимает более 4 минут, я не хочу добавлять следующую очередь свечей в очередь.
Я запускаю свечу, как показано ниже
val ssc = new StreamingContext(sc, 240000)// 240000 equals to 4 minutes