Kafka Spout прочитал дважды сообщение о топологии шторма - PullRequest
1 голос
/ 24 мая 2019

Я пытаюсь смоделировать потоковый трафик с помощью Kafka to Storm.Я использовал KafkaSpout для чтения сообщения из одной темы, отправленного продюсером, который прочитал эти твиты и отправил их в тему.Моя проблема в том, что после того, как топология использует все твиты, отправленные в этой теме, она продолжает читать сообщение в теме дважды.Как я могу остановить чтение KafkaSpout дважды? (Коэффициент репликации установлен в 1)

1 Ответ

0 голосов
/ 25 мая 2019

Конфигурация выглядит хорошо для меня.

Возможно, проблема в двойном взломе.Убедитесь, что вы записываете каждый кортеж только один раз в execute.

. Как уже упоминалось в комментарии, рассмотрите возможность обновления до новой версии Kafka, а также перехода на storm-kafka-client.

* 1008.* Также кое-что, что может сделать вашу жизнь немного проще: рассмотрите возможность расширения BaseBasicBolt вместо BaseRichBolt.BaseBasicBolt автоматически подтверждает ваш кортеж, если запуск execute не выдает ошибку.Если вы хотите потерпеть неудачу в кортеже, вы можете бросить FailedException.BaseRichBolt следует использовать только в том случае, если вы хотите выполнить более сложное взлом, например, агрегировать кортежи из множества вызовов execute в памяти перед взломом.
...