Возможно ли, что ведущий приемник создает ведро во время события?

Question

В документе сказано, что Бакетер будет назначать сегменты на основе текущего системного времени.

Я хочу знать, что если я могу назначить сегменты на основе времени события?

Answer 1

Это кажется простым, если вы используете StreamingFileSink, где я считаю, что это просто вопрос написания пользовательского BucketAssigner , который использует время события для определения идентификатора корзины.

Недавно в Flink был добавлен StreamingFileSink для решения ряда проблем с BucketingSink.Но если вы хотите по какой-то причине придерживаться BucketingSink, я думаю, вы могли бы также легко реализовать пользовательский Bucketer .