Проблема обратного давления в функции процесса Flink

Question

У меня есть функция процесса, реализованная в задании Flink, когда вводится большой объем (10-миллиметровые записи), функция процесса, кажется, заблокирована, и операторы до и после нее приостанавливаются и ожидают сброса, обменивая интервал,

производительность функции процесса

Похоже, что источник Flink находился в ожидании, пока более поздний оператор не освободился от занятости.Является ли это обработкой обратного давления во Flink, можно ли в любом случае настроить поток потока без ожидания такого интервала?

Answer 1

Если process заблокирован, куда будут поступать данные?Противодавление не является явной вещью, которую делает Флинк (насколько я знаю).Скорее, это естественное следствие того, что операторы нижестоящего уровня не могут принимать больше данных.

То, что вам нужно сделать, это посмотреть, как вы можете сделать свою работу более параллельной.Это может быть так же просто, как просто увеличить ваш параллелизм, но это может быть более сложно, если ваши данные введены в ключ, и проблема в том, что ключ получает больше данных за единицу времени, чем может быть эффективно обработано.В этом случае вам может понадобиться, чтобы ваш ключ был таким, чтобы ваши данные были разделены на несколько разделов.

Но, не зная специфики вашего приложения, это всего лишь предположение.