Я пытаюсь понять, как использовать параллелизм для повышения пропускной способности потребителя Kafka.
Из моего исследования я понимаю сценарий, когда разделы kafka (= <>) # потребляют и равномерно распределяют сообщения о распределении по работникам.
Также используйте setParallelism (#) для достижения аналогичногоэффект как добавление большего количества болтов в Storm`s говорить.В шторме есть offsetManager для обработки нескольких ожидающих смещений из-за параллелизма.
Есть ли у Flink также механизм для управления несколькими смещениями при использовании setParallelism и проверки того, что смещение зафиксировано «по порядку»?
Из моих собственных экспериментов похоже, что это как-то связано с тем, включена ли контрольная точка и интервалом контрольной точки, если она включена.
при использовании setParallelism, если один поток застрял,как Flink решает, какое количество необработанных смещений?
Похоже, Flink может корректно управлять смещениями во время параллельного выполнения.Я хотел бы понять, как Флинк делает это за сценой.