Обрабатывает ли Flink окно с ключом по одному потоку на ключ?

Question

Flink оконная документация говорит:

Наличие потока с ключами позволит выполнять ваши оконные вычисления параллельно нескольким задачам, поскольку каждый поток с логическим ключом может обрабатываться независимоот остальных.

Означает ли это утверждение, что каждое окно оценивается выделенным потоком?Будет ли 50 миллионов потоков в параллельном исполнении, если у меня будет 50 миллионов уникальных ключей, создающих окно 50 миллионов?

Answer 1

Нет, Flink не создает новую ветку для каждого отдельного ключа.

Оператор окна, который применяется к потоку с ключами, может работать параллельно.Входной поток делится на атрибут ключа, так что все записи с одним и тем же ключом обрабатываются одним и тем же параллельным экземпляром оператора окна.Следовательно, каждый экземпляр параллельного оператора отвечает за обработку подмножества всего ключевого домена.