Как дросселировать выход флинка на кафку?

Question

Я хочу отправить 100 messages/second из моего потока в тему кафки. У меня в потоке данных более чем достаточно для этого.

Пока что я нашел концепцию окон, но не могу изменить ее в моем случае использования.

Answer 1

Вы можете сделать это легко с ProcessFunction. Вы бы держали счетчик в состоянии Flink и испускали элементы только тогда, когда счетчик меньше 100. Тем временем используйте таймер для обнуления счетчика раз в секунду.