Из-за ориентации на масштабируемость и высокую производительность состояние Flink является локальным. Flink на самом деле не предоставляет механизм для разделения состояния между заданиями.
Однако Flink поддерживает разделение большой работы среди рабочих. Кластер Flink может выполнять одно задание параллельно, используя ресурсы одного или нескольких многоядерных процессоров. Некоторые задания Flink выполняются на тысячах ядер, просто чтобы дать представление о его масштабируемости.
При использовании с Kafka каждый раздел Kafka может быть прочитан другой подзадачей в Flink и обработан своим собственным параллельным экземпляром. конвейера.
Вы можете начать с запуска одного параллельного экземпляра своей работы с помощью
bin/flink run --parallelism <parallelism> app.jar
Чтобы это удалось, ваш кластер должен иметь накак минимум столько же свободных слотов, сколько запрашиваемый вами параллелизм. Параллелизм должен быть меньше или равен количеству разделов в используемой теме (-ях) Kafka. Потребители Flink Kafka будут координировать свои действия - каждый из них читает с одного или нескольких разделов.