У меня есть поток данных следующим образом с 3 док-контейнерами в настройке кластера.Я использую файл docker-compose из https://github.com/apache/nifi/tree/rel/nifi-1.8.0/nifi-docker/docker-compose с версией nifi 1.8.0
ConsumeKafka 1.0 -> CountText-> LogAttribute
Когда я запускал этот поток данных, я видел, что они отлично работают.
При остановке и уничтоженииодин узел и другой по docker stop и docker rm, я вижу, что зафиксированное смещение (CURRENT-OFFSET) все еще прогрессирует, но я больше не вижу журнал остановленных контейнеров (контейнеров)
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET
events1 0 29379464 41973308
events1 1 29393696 41974539
events1 2 29402673 41983220
Информация взята с ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test_local_2019_01_17
Я очень уверен, что контейнер вообще не работает, проверив docker ps -a.Также нет другого потребителя, потому что при остановке всех контейнеров зафиксированное смещение больше не прогрессирует
Есть ли что-то, что я должен проверить, почему CUURENT-OFFSET прогрессирует?Что меня беспокоит, так это то, что я не вижу журнал раздела (ов), а смещение все еще фиксируется и прогрессирует, что, вероятно, означало бы потерю данных