websocket сообщения нифи кластер к кафке без дубликатов

Question

В текущем проекте, над которым я работаю, я использую сервер с одним потоком, чтобы инициировать соединение с socket-io websocket, который отправляет события, когда использует сообщения, которые записывает их в kafka topi c. Я хочу использовать кластер nifi с процессором ConnectWebSocket, чтобы получать сообщения из веб-сокета и, наконец, вставлять их в kafka topi c. Может ли кластер nifi привести к дублированию сообщений в topi c в результате того, что более одного брокера в кластере обрабатывают одно и то же событие? Заранее спасибо:)

Answer 1

После того, как я проверил это, я увидел, что с конфигурациями по умолчанию будут дублирования, потому что все узлы будут выполнять одинаковые процессы. Но есть возможность настроить планирование ConnectWebSocket для выполнения только основного узла, и в случае его отключения по какой-то причине другой узел выполнит эту работу. Это решило мою проблему, чтобы стабильно писать события только один раз.