Отправляйте в реальном времени данные непрерывного журнала в kafka и используйте их - PullRequest
0 голосов
/ 02 марта 2020

Я должен проанализировать журналы сервера двух разных приложений. Журналы будут генерироваться непрерывно 24 * 7. У меня есть учетные данные сервера, на котором создаются журналы. Мне нужно получить эти данные журналов в kafka и извлечь некоторую информацию об ошибках из этих журналов, используя python (применяя регулярное выражение), и подготовить панель мониторинга в реальном времени с данными, которые я извлек. Как я могу проглотить те данные журнала, которые непрерывно генерируются в kafka? Нужно ли использовать NiFi? Я новичок в этом сценарии, поэтому, если вы поняли мое требование, приведенное выше, расскажите, как мне этого добиться. Спасибо.

1 Ответ

0 голосов
/ 07 марта 2020

Для загрузки данных из файлов журнала в Kafka вы можете использовать Kafka Connect. Основная функция Kafka Connect c заключается в копировании данных из внешних систем в Kafka или из Kafka во внешние системы.

Kafka connect - это приложение java, поэтому для работы не требуется внешний кластер (кроме из кластера Кафка, где присутствует топи c). Соединители определяются через файл конфигурации и, следовательно, очень просты в использовании с минимальным кодом.

Для передачи данных из файла в Kafka вы можете использовать и исследовать FileStream Connector Kafka Connect - https://docs.confluent.io/current/connect/filestream_connector.html

...