Является ли использование Кафки в качестве входного источника для Flink узким местом производительности? - PullRequest
0 голосов
/ 01 ноября 2018

Flink позволяет читать из темы Кафки, это узкое место в производительности, делающее Flink медленнее в целом?

Ответы [ 2 ]

0 голосов
/ 02 ноября 2018

Это зависит. Например, если у вас медленное сетевое соединение между кластером Kafka и кластером Flink, это станет узким местом в производительности.

0 голосов
/ 01 ноября 2018

Перегородки Kafka могут масштабироваться горизонтально, чтобы обеспечить более высокую пропускную способность.

Один потребительский поток Flink может быть назначен только одному разделу Kafka.

Итак, если у вас есть только 1 раздел Kafka и N+1 исполнители Flink, то у вас будет N пустых заданий, которые, конечно, могут быть узким местом, но это компромисс между полным упорядочением в пределах Кафка тема, не обязательно проблема Флинка.

В противном случае вы могли бы создать свои темы Kafka с десятью или сотнями разделов, и Flink был бы хорошо использовать его.

...