Архитектура для чтения файлов журнала с нескольких серверов в Кафку - PullRequest
0 голосов
/ 31 января 2019

У нас есть сценарий, в котором мы должны читать файлы журналов с 50 различных типов серверов, расположенных в разных местах.Итак, пытаясь понять типичную архитектурную схему, чтобы достичь этого через Кафку.Объем данных будет примерно 4 ТБ в день.например,

  • Нужно ли устанавливать Kafka на каждом сервере, на котором будет работать производитель, или это просто развертывание jar?

  • Должны ли мы иметьотдельная тема для сервера или отдельная тема для аналогичной структуры журнала?

  • Типичное число брокеров, необходимых для такого типа тома.

  • Требуется ли намРеестр службы или схема Kafka REST?

...