Потоковая обработка файла на ftp - PullRequest
0 голосов
/ 04 июня 2019

В одном из приложений наш клиент получает несколько событий в файлах, загруженных на FTP-сервер. Частота этих файлов будет в минутах. Эти события нужно обрабатывать индивидуально.

Один из способов обработки этих событий - отправить их в kafka, а затем с помощью потоков kafka / потребителя обработать их один за другим. Это правильный подход, или мы должны думать о некотором пакетном процессе, таком как искра? Мы не ожидаем более 10K сообщений в худшем случае каждую минуту.

Спасибо

...