Пропуск партий в процессе искровой структурированной потоковой передачи

Question

У меня есть потоковое задание с искровой структурой, которое использует события из службы Azure Event Hubs.В некоторых случаях случается, что некоторые пакеты не обрабатываются потоковым заданием.В этом случае в журнале структурированной потоковой передачи можно увидеть следующую инструкцию регистрации:

INFO FileStreamSink: пропуск уже принятого пакета 25

потоковое задание сохраняет входящие событияв Azure Datalake, чтобы я мог проверить, какие события действительно были обработаны / сохранены.Когда происходит указанное выше пропускание, эти события отсутствуют!

Мне неясно, почему эти пакеты помечены как уже принятые, потому что в итоге кажется, что они не были обработаны!

У вас есть идея, что может вызвать такое поведение?

Спасибо!

Answer 1

Я мог бы решить проблему.Проблема заключалась в том, что у меня было два разных потоковых задания, которые имели разные местоположения контрольных точек (что правильно), но использовали одну и ту же базовую папку для их вывода.Но в выходной папке также сохранена метаинформация, поэтому два потока поделились информацией, какие пакеты они уже зафиксировали.После использования другой базовой выходной папки проблема была исправлена.