Анализ графика выполнения задания Flink Streaming - PullRequest
0 голосов
/ 20 апреля 2020

У меня есть вопрос относительно производительности с Flink,

Может кто-нибудь сказать мне, что не так, если у моей программы план выполнения такой же, как на картинке ниже?

Спасибо.

введите описание изображения здесь

1 Ответ

0 голосов
/ 21 апреля 2020

Из вашего описания я не могу сразу понять, почему вам нужно более одного hash на источник. Любой тип сетевого тасования ограничивает пропускную способность, поэтому избегание всех ненужных тасов кажется лучшим решением в вашем случае.

Окончательное изображение должно выглядеть следующим образом:

Source 1 --\
            \
Source 2 ----\
              +---> Map ---> Sink
...          /
            /
Source N --/

Так, чтобы каждая входная запись была только один раз.

Помимо этих общих соображений, мне понадобится гораздо больше деталей и псевдокод CEP, чтобы дать более конкретные c рекомендации.

...