Я использую kafka 1.1.0, для одного потребителя, и я получаю эту ошибку, хотя мой опрос очень быстрый, один опрос на каждые 100 миллисекунд проходит. Я использую ручную фиксацию, и продолжительность между двумя запросами фиксации может измениться (может быть даже часами). Но не опрос.
Я все еще получаю эту ошибку "Координатор не знает об этом участнике." с сообщением
В чем может быть причина этой ошибки. Я искал повсюду, но не смог получить никакой информации в контексте проблемы.
По умолчанию используются "max.poll.interval.ms" и время ожидания сеанса.
Из журналов видно, что последняя успешная фиксация была в 11: 20: 11.677, а неудачная фиксация была в 11: 20: 35.742 с разницей в 24 секунды.
Процесс подачи заявки с собственным идентификатором группы. Я могу подтвердить, что не было никакого другого процесса, работающего с тем же идентификатором группы.
2018-11-17 17: 03: 39.227 - DEBUG o.a.k.c.c.i.AbstractCoordinator
Попытка сердцебиения не удалась из-за идентификатора участника
рассылка-1-e237c8ed-fed7-4687-be4d-99e333e48af3 недействительна.
2018-11-17 17: 03: 39.227 - DEBUG o.a.k.c.c.i.AbstractCoordinator
Отключение сердцебиения потока 2018-11-17 17: 08: 09.241 - ОТЛАДКА
o.apache.kafka.clients.NetworkClient Отправка запроса метаданных
(type = MetadataRequest, themes =) для узла 10.0.10.220:9092 (id: 1 стойка:
ноль)
2018-11-17 17: 08: 09.241 - ОТЛАДКА
org.apache.kafka.clients.Metadata - обновленная версия метаданных кластера
505 в кластер (id = 5zFDtyruTP-cIctUkxG0Pg, узлы = [10.0.10.222:9092
(id: 3 стойки: ноль), 10.0.10.220:9092 (id: 1 стойки: ноль),
10.0.10.221:9092 (id: 2 rack: null)], разделы = [])
2018-11-17 17: 12: 09.472 - ОТЛАДКА o.apache.kafka.clients.NetworkClient Node 3
отсоединен.
2018-11-17 17: 12: 09.472 - ОТЛАДКА
o.apache.kafka.clients.NetworkClient Отправка запроса метаданных
(type = MetadataRequest, themes =) для узла 10.0.10.220:9092 (id: 1 стойка:
ноль)
2018-11-17 17: 12: 09.472 - ОТЛАДКА
org.apache.kafka.clients.Metadata - обновленная версия метаданных кластера
506 в кластер (id = 5zFDtyruTP-cIctUkxG0Pg, узлы = [10.0.10.222:9092
(id: 3 стойки: ноль), 10.0.10.221:9092 (id: 2 стойки: ноль),
10.0.10.220:9092 (id: 1 rack: null)], разделы = [])
2018-11-17 17: 17: 09.502 - DEBUG o.apache.kafka.clients.NetworkClient Initialize
подключение к узлу 10.0.10.222:9092 (id: 3 rack: null) для отправки
запрос метаданных
2018-11-17 17: 17: 09.503 - ОТЛАДКА
o.apache.kafka.clients.NetworkClient Инициирование соединения с узлом
10.0.10.221:9092 (id: 2 стойки: ноль)
2018-11-17 17: 17: 09.503 - DEBUG o.apache.kafka.clients.NetworkClient Отправка запроса метаданных
(type = MetadataRequest, themes =) для узла 10.0.10.220:9092 (id: 1 стойка:
ноль)
2018-11-17 17: 17: 09.503 - ОТЛАДКА
o.a.kafka.common.network.Selector Создан сокет с SO_RCVBUF =
32768, SO_SNDBUF = 131072, SO_TIMEOUT = 0 для узла 2
2018-11-17
17: 17: 09.503 - ОТЛАДКА o.apache.kafka.clients.NetworkClient Completed
подключение к узлу 2. Выбор версий API.
2018-11-17 17: 17: 09.503 -
DEBUG o.apache.kafka.clients.NetworkClient Инициирование версий API
извлечь из узла 2.
2018-11-17 17: 17: 09.503 - ОТЛАДКА
org.apache.kafka.clients.Metadata - обновленная версия метаданных кластера507 в кластер (id = 5zFDtyruTP-cIctUkxG0Pg, node = [10.0.10.220:9092 (id: 1 стеллаж: ноль), 10.0.10.221:9092 (id: 2 стеллаж: ноль), 10.0.10.222:9092 (идентификатор: 3rack: null)], partitions = [])
2018-11-17 17: 17: 09.503 - DEBUG o.apache.kafka.clients.NetworkClient Записанные версии API для узла 3: (Produce (0): От 0 до 5 [можно использовать: 5], выборка (1): от 0 до 7 [можно использовать: 7], ListOffsets (2): от 0 до 2 [можно использовать: 2], метаданные (3): от 0 до 5 [можно использовать: 5], LeaderAndIsr (4): от 0 до 1 [используется: 1], StopReplica (5): 0 [используется: 0], UpdateMetadata (6): от 0 до 4 [используется: 4], ControlledShutdown (7): от 0 до 1[usable: 1], OffsetCommit (8): от 0 до 3 [usable: 3], OffsetFetch (9): от 0 до 3 [usable: 3], FindCoordinator (10): от 0 до 1 [usable: 1], JoinGroup (11): от 0 до 2 [можно использовать: 2], Heartbeat (12): от 0 до 1 [можно использовать: 1], LeaveGroup (13): от 0 до 1 [можно использовать: 1], SyncGroup (14): от 0 до 1 [можно использовать: 1], DescribeGroups (15): от 0 до 1 [можно использовать: 1], ListGroups (16): от 0 до 1 [можно использовать: 1], SaslHandshake (17): от 0 до 1 [можно использовать: 1], ApiVersions (18): От 0 до 1 [используется: 1], CreateTopics (19): от 0 до 2 [можно использовать: 2], DeleteTopics (20): от 0 до 1 [можно использовать: 1], DeleteRecords (21): 0 [можно использовать: 0], InitProducerId (22): 0 [можно использовать: 0],OffsetForLeaderEpoch (23): 0 [можно использовать: 0], AddPartitionsToTxn (24): 0 [можно использовать: 0], AddOffsetsToTxn (25): 0 [можно использовать: 0], EndTxn (26): 0 [можно использовать: 0], WriteTxnMarkers (27): 0 [можно использовать: 0], TxnOffsetCommit (28): 0 [можно использовать: 0], DescribeAcls (29): 0 [можно использовать: 0], CreateAcls (30): 0 [можно использовать: 0], DeleteAcls (31): 0 [можно использовать: 0], DescribeConfigs (32): от 0 до 1 [можно использовать: 1], AlterConfigs (33): 0 [можно использовать: 0], AlterReplicaLogDirs (34): 0 [можно использовать: 0], DescribeLogDirs (35): 0 [можно использовать: 0], SaslAuthenticate (36): 0 [можно использовать: 0], CreatePartitions (37): 0 [можно использовать: 0], CreateDelegationToken (38): 0 [можно использовать: 0], RenewDelegationToken (39): 0[usable: 0], ExpireDelegationToken (40): 0 [usable: 0], DescribeDelegationToken (41): 0 [usable: 0], DeleteGroups (42): 0 [usable: 0])
2018-11-17 17: 17: 09.503 - DEBUG o.apache.kafka.clients.NetworkClient Завершено подключение к узлу 2. Выбор версии APIдополнения.
2018-11-17 17: 17: 09.503 - DEBUG o.apache.kafka.clients.NetworkClient Инициирование версий API, извлекаемых из узла 2.
2018-11-17 17:17:09.503 - DEBUG org.apache.kafka.clients.Metadata - Обновлена версия метаданных кластера 507 для кластера (id = 5zFDtyruTP-cIctUkxG0Pg, node = = 10.0.10.220:9092 (id: 1 rack: null), 10.0.10.221:9092 (id: 2 rack: null), 10.0.10.222:9092 (id: 3 rack: null)], разделы = [])
2018-11-17 17: 17: 09.503 - DEBUG o.apache.kafka.clients.NetworkClient Записанные версии API для узла 3: (Produce (0): от 0 до 5 [usable: 5], Fetch (1): от 0 до 7 [usable: 7], ListOffsets (2): от 0 до 2 [Можно использовать: 2], Метаданные (3): от 0 до 5 [Можно использовать: 5], LeaderAndIsr (4): от 0 до 1 [Использовать: 1], StopReplica (5): 0 [Использовать: 0], UpdateMetadata (6):От 0 до 4 [можно использовать: 4], ControlledShutdown (7): от 0 до 1 [можно использовать: 1], OffsetCommit (8): от 0 до 3 [можно использовать: 3], OffsetFetch (9): от 0 до 3 [можно использовать: 3], FindCoordinator (10): от 0 до 1 [используется: 1], JoinGroup (11): от 0 до 2 [используется: 2], Heartbeat (12): от 0 до 1 [используется: 1], LeaveGroup (13): от 0 до 1 [можно использовать: 1], SyncGroup (14): от 0 до 1 [можно использовать: 1], DescribeGroups (15): от 0 до 1 [можно использовать: 1], ListGroups (16): 0до 1 [можно использовать: 1], SaslHandshake (17): от 0 до 1 [можно использовать: 1], ApiVersions (18): от 0 до 1 [можно использовать: 1], CreateTopics (19): от 0 до 2 [можно использовать: 2],DeleteTopics (20): от 0 до 1 [можно использовать: 1], DeleteRecords (21): 0 [можно использовать: 0], InitProducerId (22): 0 [можно использовать: 0], OffsetForLeaderEpoch (23): 0 [можно использовать: 0],AddPartitionsToTxn (24): 0 [можно использовать: 0], AddOffsetsToTxn (25): 0 [можно использовать: 0], EndTxn (26): 0 [можно использовать: 0], WriteTxnMarkers (27): 0 [можно использовать: 0], TxnOffsetCommit (28): 0 [можно использовать: 0], DescribeAcls (29): 0 [можно использовать: 0], CreateAcls (30): 0 [можно использовать: 0], DeleteAcls (31): 0 [использовать: 0], DescribeConfigs (32): От 0 до 1 [можно использовать: 1], AlterConfigs (33): 0 [можно использовать: 0], AlterReplicaLogDirs (34): 0 [можно использовать: 0], DescribeLogDirs (35): 0[usable: 0], SaslAuthenticate (36): 0 [usable: 0], CreatePartitions (37): 0 [usable: 0], CreateDelegationToken (38): 0 [usable: 0], RenewDelegationToken (39): 0 [можно использовать: 0], ExpireDelegationToken (40): 0 [можно использовать: 0], DescribeDelegationToken (41): 0 [можно использовать: 0], DeleteGroups (42): 0 [можно использовать: 0]) 2018-11-17 17: 17: 09.503- DEBUG o.apache.kafka.clients.NetworkClient Записанные версии API для узла 2: (Produce (0): от 0 до 5 [usable: 5], Fetch (1): от 0 до 7 [usable: 7], ListOffsets (2)): От 0 до 2 [можно использовать: 2], метаданные (3): от 0 до 5 [можно использовать: 5], LeaderAndIsr (4): от 0 до 1 [можно использовать: 1], StopReplica (5): 0 [можно использовать: 0], UpdateMetadata (6): от 0 до 4 [используется: 4], ControlledShutdown (7): от 0 до 1 [используется: 1], OffsetCommit (8): от 0 до 3 [используется: 3], OffsetFetch (9): от 0 до3 [можно использовать: 3], FindCoordinator (10): от 0 до 1 [можно использовать: 1], JoinGroup (11): от 0 до 2 [можно использовать: 2], Heartbeat (12): от 0 до 1 [можно использовать: 1], LeaveGroup(13): от 0 до 1 [можно использовать: 1], SyncGroup (14): от 0 до 1 [можно использовать: 1], DescribeGroups (15): от 0 до 1 [можно использовать: 1], ListGroups (16): от 0 до 1 [годный к употреблению:1], SaslHandshake (17): от 0 до 1 [можно использовать: 1], ApiVersions (18): от 0 до 1 [можно использовать: 1], CreateTopics (19): от 0 до 2 [можно использовать: 2], DeleteTopics (20):От 0 до 1 [можно использовать: 1], DeleteRecords (21): 0 [можно использовать: 0], InitProducerId (22): 0 [можно использовать: 0], OffsetForLeaderEpoch (23): 0 [можно использовать: 0], AddPartitionsToTxn (24):0 [можно использовать: 0], AddOffsetsToTxn (25): 0 [можно использовать: 0], EndTxn (26): 0 [можно использовать: 0], WriteTxnMarkers (27): 0 [можно использовать: 0], TxnOffsetCommit (28): 0 [пригодный для использования: 0], DescribeAcls (29): 0 [используемый: 0], CreateAcls (30): 0 [используемый: 0], DeleteAcls (31): 0 [используемый: 0], DescribeConfigs (32): от 0 до 1 [usable: 1], AlterConfigs (33): 0 [usable: 0], AlterReplicaLogDirs (34): 0 [usable: 0], DescribeLogDirs (35): 0 [usable: 0], SaslAuthenticate (36): 0 [usable:0], CreatePartitions (37): 0 [можно использовать: 0], CreateDelegationToken (38): 0 [можно использовать: 0], RenewDelegationToken (39): 0 [можно использовать: 0], ExpireDelegationToken (40): 0 [можно использовать: 0], DescribeDelegationToken (41): 0 [можно использовать: 0], DeleteGroups (42): 0 [можно использовать: 0])
Я не вижу идентификатор участникауникальное сообщение в клиенте-отладчике и клиенте kafka продолжает попытки подключения.