Я реализовал стриминг с искрой и сейчас тестирую это Я представил программу, и она выглядит хорошо. Но внезапно, через 10 часов, он начал вести себя странно.
Среднее количество записей в пакете (10 секунд) будет составлять около 600 тыс. Сообщений. Но внезапно количество сообщений для нескольких партий приближается к 1000, хотя есть тысячи сообщений. А затем число увеличивается до миллионов, как указано ниже. Кроме того, общая задержка огромна, когда количество сообщений в тысячах
log - Batch completed, Total delay :19786 ms for messages:1000
log - Batch completed, Total delay :18787 ms for messages:1000
log - Batch completed, Total delay :16476 ms for messages:1000
log - Batch completed, Total delay :13354 ms for messages:1000
log - Batch completed, Total delay :10290 ms for messages:1000
...
...
log - Batch completed, Total delay :5103 ms for messages:311500
log - Batch completed, Total delay :7599 ms for messages:610250
log - Batch completed, Total delay :7358 ms for messages:803000
log - Batch completed, Total delay :7833 ms for messages:1091250
log - Batch completed, Total delay :7219 ms for messages:1393250
log - Batch completed, Total delay :9601 ms for messages:1930000
log - Batch completed, Total delay :8718 ms for messages:2010250
Не уверен, что это небольшое количество сообщений является сообщениями отставания или из-за какой-либо другой конфигурации Не могли бы вы, пожалуйста, сообщить мне, почему вдруг я получаю только 1000 сообщений в пакете, а затем огромный всплеск количества. Являются ли эти сообщения (в 1000) из старых партий?
Кроме того, я не уверен, почему время задержки слишком велико для этих сообщений низкого уровня, хотя время выполнения пакета меньше 10 с
Total delay: 113.748 s for time 1553181660000 ms (execution: 8.314 s)
Это потому, что они из старых партий?
Спасибо