Потоковая передача данных System-Lag выдает каждые несколько дней - PullRequest
0 голосов
/ 31 октября 2018

У меня есть задание потоковой передачи данных (SDK 2.7.0). Он слушает паб / подтему, выполняет некоторые агрегации во временных окнах, а затем выводит данные в паб / суб и в хранилище Google.

Раз в несколько дней счетчик «Системная задержка» / «Водяной знак данных» в стековой машине будет быстро увеличиваться. Если я проигнорирую это, то обработка задания будет остановлена ​​(ничего не будет записано в тему вывода). Мое текущее решение для этого - обновить задание (не останавливая его и не используя тот же код), оно заменяет рабочий экземпляр, и проблема решается через несколько минут. Но я сомневаюсь, что это правильный подход ...

Это проблема с платформой? Если нет, то какие-либо предположения о том, что я делаю не так?

...