Проблема подключения Apache Flink 1.6.0 к Kafka 1.1.0 - PullRequest
0 голосов
/ 27 сентября 2018

Я использую кластер Apache Flink 1.6.0.Мы используем FlinkKafkaConsumer011 в работе.Контрольная точка включена (Statebackend - RocksDB, Интервал 5 с, Тайм-аут 1 минута, Минимальная пауза между контрольными точками 1 с, Максимальное количество одновременных контрольных точек 1. Когда я выполняю задание в локальной среде IDE, все успешно. Но когда задание выполняется в удаленном режиме, мигаеткластер, никакие события не читаются (используйте startFromEarliest, я гарантирую, что в теме kafka есть много сообщений о событиях). Посмотрите журнал заданий, там нет журнала ОШИБКА, найдите только некоторое ПРЕДУПРЕЖДЕНИЕ: WARN org.apache.flink.streaming.connectors.kafka.internal.Kafka09Fetcher - Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity. Если я игнорируюэто предупреждающее сообщение? Почему разъем кафки flink считывает события с самого раннего смещения?

...