Я выполняю задание Flink, которое берет сообщения от Kafka и в конечном итоге записывает их в приемник Cassandra.
Я принимаю около 500 msgs / s, которые отображаются в ~ 60 000 вставок Cassandra. Параллелизм работы - 5 (чтение из 5 разделов Кафки). Когда начинается прием пищи, я вижу, что задание успешно записывает все сообщения, и потребитель Kafka не отстает.
Через минуту или около того я неожиданно начинаю видеть снижение уровня потребления Kafka, увеличение записей Kafka. отставание и среднее время выборки потребителя Kafka.
Глядя на пользовательский интерфейс Flink, я вижу, что оператор приемника (CassandraPojoSink) является тем, который вызывает обратное давление, однако Cassandra не исчерпывается в ЦП и памяти, а также задержка записи на него стабильна и низкая. Добавление большего параллелизма (5 -> 20) к оператору приемника немного помогает, но не решает проблему.
Может ли кто-нибудь указать мне правильное направление, как решить эту проблему? добавление все большего и большего параллелизма кажется плохим решением (или это так?).
Спасибо!