Предоставляя падающее окно продолжительностью 1 час, в котором будут тысячи windows ключей, источник будет разделен по идентификатору записи и предполагается, что весь контент будет передан во внешнюю систему (hdfs / s3 ...).
Мигает как потоковый приемник файлов, который может делать то, что предполагается, но не может вписаться в решение, поскольку необходимо также контролировать полное имя файла, чтобы иметь возможность перезаписывать ранее созданный контент во внешней системе.
Что вы думаете о решении?
Решение 1: акробатическое окно часа и пользовательский приемник, который пишет в hdfs / s3, но это решение может иметь много узких мест в памяти и на стоке для обработки всех записей. ТМ может начать выдавать тайм-ауты на сердцебиение из-за большой нагрузки / резких писателей во внешнюю систему
Решение 2: Измените приемник потоковой передачи файлов, чтобы он соответствовал нашим требованиям
Решение 3 ...