Как filebeat обрабатывает надежность при выводе на Kafka?

Question

Известно, что Kafka может предоставить семантическую семантическую доставку после 0.11.0.0.И я ожидаю, что таким образом получу вывод файлового ритма на Кафку.В соответствии с KIP 98 требуется, чтобы некоторые конфиги были установлены правильно, в том числе enable.idempotence, transaction.timeout.ms и transactional.id для производителя (то есть, filebeat).Но я не могу найти эти конфиги даже в последней версии filebeat .Итак, я хочу знать, поддерживается ли он и как этого добиться, если да.

Answer 1

В настоящее время из документации Filebeat и окружающих его ресурсов невозможно получить точную однократную доставку с Filebeat. В настоящее время используется хотя бы один раз доставки, то есть вы получите сообщение 1 или более раз.

Хотя Kafka может поддерживать семантику "точно один раз", похоже, что Filebeat не поддерживает семантику "точно один раз". Filebeat должен был бы реализовать эти конфигурации для поддержки доставки только один раз.