Flink: Что означают такие термины, как Hash, Forward в плане Flink? - PullRequest
0 голосов
/ 25 января 2019

Это изображение плана Flink, которое появляется на приборной панели при развертывании моей работы. Как видите, соединения между операторами помечены как FORWARD/HASH и т. Д. На что они ссылаются? Когда что-то называется HASH, а когда что-то называется FORWARD?

enter image description here

1 Ответ

0 голосов
/ 25 января 2019

Прежде всего, как мы знаем, потоковое задание Flink будет разделено на несколько заданий в соответствии с графиком заданий (или DAG).FORWARD / HASH - это разделитель между задачами верхнего и нижнего уровня, который используется для разделения данных из входных данных.

Что такое «Вперед»?И когда происходит пересылка?

Это означает, что секционер будет пересылать элементы только локально выполняющимся задачам нисходящего потока.Forward является разделителем по умолчанию, если вы не указали какой-либо разделитель напрямую или не используете функции с разделителем, такие как reblance / keyBy.

Что такое Hash?И когда возникает хэш?

Это разделитель, который разбивает записи на основе индекса группы ключей.Это происходит при вызове keyBy.

...