Публикация журналов доступа пользователей в Kafka через пользовательский HTTP-сервис

Question

Является ли обычной практикой отправка журналов приложений из серверного приложения в Kafka через промежуточный HTTP-интерфейс? Объем журналов может быть значительным, и задержка должна быть минимальной. Потерянные сообщения не являются большой проблемой, если мы не потеряем их много.

Answer 1

Я видел, как парни использовали или я использовал следующие подходы для отправки журнала приложений в Apache Kafka.

Async Log4J Appender - при условии, что вы используете Log4J для ведения журнала.

Сбор журналов приложений с использованием fluentd

Соединение, написанное на заказ из файла Kafka. Например, здесь .

Я видел, как компании в очень строго регламентированной отрасли пишут изготовители пользовательских журналов с асинхронной и локальной буферизацией для отправки журналов в Kafka. Они пишут собственное решение для форматирования сообщений / шифрования или редактирования некоторой информации, выходящей из их экосистемы.