Почему в искровой структурированной потоковой передаче он не фиксируется, пока не будет готова новая партия? - PullRequest
0 голосов
/ 15 апреля 2020

Я запускаю потоковую структурированную искру и сталкиваюсь с необычным сценарием. Если он достигает конца пакета, он не будет зафиксирован, пока не будет доступен новый пакет.

В моем журнале отладки это выглядит так:

getOffset
commit
getBatch
getOffset
commit
getBatch

Так что, если последний пакет был со смещением 20, и он вызывает getOffset и возвращает 20, он не будет фиксироваться.

Но похоже, что он фиксирует только, если у него есть смещение, достаточно большое, чтобы получить новый пакет. Возможно, проблема в том, что я контролирую размер пакета, ограничивая вызов getOffset, но я ожидаю, что, когда пакет завершен, он немедленно вызовет фиксацию, а не ожидает следующий пакет перед фиксацией.

...