Почему мой конвейер выдает «запрос fetchMessages не выполнен с ошибкой неверного смещения»?

Question

Я пытаюсь написать потоковый конвейер и получил эту ошибку.

Вот моя спецификация: -

--cpu-parallelism 8
--memory-parallelism 8

Пожалуйста, дайте мне знать, если это имеет смысл.

Answer 1

Существует два известных сценария такого поведения:

• Если конвейер был приостановлен на более длительный срок, чем срок хранения одного из входных потоков, ИЛИ
• Если конвейер обрабатываетсяданные медленнее, чем входные потоки получают данные.В таких случаях, в какой-то момент, текущие данные, обрабатываемые конвейером, будут отбрасываться слоем потока, когда он пересекает порог срока хранения.