Отправка файлов журнала с использованием Kafka Producer

Question

Я хотел бы создать скрипт на python для отправки файлов с виртуальной машины и отправки их брокеру kafka. чтобы сделать это просто:

• У меня есть файлы журнала в этом IP-адресе: VM1 10.10.10.1
• Я хотел бы создать производителя kafka (используя python) для доставки файлов из VM1
• Кафка установлена ​​на другой виртуальной машине: VM2 10.10.10.2

ограничение

1. Я не могу установить инструменты на VM1
2. Я могу использовать только user / pwd, чтобы получить доступ к VM1

Я думаю, что мне нужно создать разъем? Можем ли мы использовать что-то вроде connect-file-sink.properties и указать папку + ip, в которой файл хранится на внешней машине: VM1

Есть еще инструменты для этого?

Answer 1

Существует множество существующих инструментов, которые делают это, например, Filebeat , который поддерживает вывод в Kafka , Fluentd и т. Д.

Все это легко настроить с помощью простых файлов конфигурации.Вероятно, самым сложным будет ваша сеть - просто убедитесь, что вы правильно настроили слушателей Кафки .