Apache Flink & Kafka FETCH_SESSION_ID_NOT_FOUND информационные журналы - PullRequest
Новая
       100

Apache Flink & Kafka FETCH_SESSION_ID_NOT_FOUND информационные журналы

0 голосов
/ 04 мая 2020

Наше приложение Flink имеет источник данных Kafka.

Приложение запускается с параллелизмом 32.

Когда я просматриваю журналы, я вижу много утверждений о FETCH_SESSION_ID_NOT_FOUND. 

2020-05-04 11:04:47,753 INFO  org.apache.kafka.clients.FetchSessionHandler                  - [Consumer clientId=consumer-81, groupId=sampleGroup]
Node 26 was unable to process the fetch request with (sessionId=439766827, epoch=42): FETCH_SESSION_ID_NOT_FOUND.
2020-05-04 11:04:48,230 INFO  org.apache.kafka.clients.FetchSessionHandler                  - [Consumer clientId=consumer-78, groupId=sampleGroup]
Node 28 was unable to process the fetch request with (sessionId=281654250, epoch=42): FETCH_SESSION_ID_NOT_FOUND.

Что означают эти операторы журнала ?

Каковы возможные негативные эффекты?

Не: у меня нет опыта работы с Apache Кафка

Спасибо ..

1 Ответ

1 голос
/ 04 мая 2020

Это может произойти по нескольким причинам, но наиболее распространенной из них является заполнение кэша FetchSession у брокеров.

По умолчанию брокеры кэшируют до 1000 FetchSessions (настраивается через max.incremental.fetch.session.cache.slots). Когда это заполняется, брокеры могут удалить записи кэша. Если ваша запись кэша клиента пропала, она получит ошибку FETCH_SESSION_ID_NOT_FOUND.

Эта ошибка не является фатальной, и потребители должны автоматически отправить новый полный запрос FetchRequest и продолжить работу.

Вы можете проверить размер кэша FetchSession с использованием kafka.server:type=FetchSessionCache,name=NumIncrementalFetchSessions metri c.

...