Flink: влияние увеличения параллелизма на пропускную способность - PullRequest
0 голосов
/ 14 июня 2019

Я запустил задание сначала с Параллелизмом 1, а затем с Параллелизмом 3. С Параллелизмом = 1 источник kafka считывал записи со скоростью ~ 500 записей в секунду. При параллелизме = 3 пропускная способность была разделена между тремя параллелизмами, каждый из которых считывал приблизительно ~ 150 записей в секунду. Обратите внимание, что источник публикует записи с гораздо более высокой скоростью (~ 1000 записей в секунду).

Это ожидается? Я бы предположил, что пропускная способность увеличивается с параллелизмом, но она остается той же. Я проверил состояние Backpressure на источнике, оно было High.

Скриншоты для справки:

Параллелизм 1: Parallelism 1

Параллелизм 3: Parallelism 3

...