Kafka Connect для загрузки потоковых данных журнала в Kafka. - PullRequest
Новая
       1

Kafka Connect для загрузки потоковых данных журнала в Kafka.

0 голосов
/ 10 января 2020

Подходит ли соединитель Kafka Spool Directory для загрузки потоковых данных (журналов) в Kafka на производстве? Можно ли запустить его в распределенном режиме? Можно ли использовать какой-либо другой соединитель, поскольку исходный соединитель файлового потока не подходит для производства?

1 Ответ

0 голосов
/ 11 января 2020

Соответствует ли это вашим требованиям?

предоставляет возможность просматривать каталог для файлов и считывать данные по мере записи новых файлов во входной каталог.

Есть ли у вас файлы CSV или JSON?

Если это так, то вы можете использовать разъем Spooldir

Можно утверждать, что что-то вроде решений Flume, Logasta sh, Filebeat, FluentD, Syslog, GELF или других журналов более подходит для ваших целей сбора журналов в Kafka

...