Почему функция во Flink должна быть сериализуемой? - PullRequest
0 голосов
/ 27 июня 2019

Рассмотрим FlatMapFunction во Флинке. Требуется, чтобы любая реализация этого была сериализуемой.

Я пытаюсь понять, почему это так, может кто-нибудь объяснить? Все ли эти экземпляры операторов созданы в диспетчере заданий, чем сериализованы и отправлены в диспетчеры задач?

1 Ответ

1 голос
/ 27 июня 2019

Все ли эти экземпляры операторов созданы в диспетчере заданий, чем сериализованы и отправлены в диспетчеры задач?

Вы уже ответили на свой вопрос :) Именно так и происходит.

Стоит отметить, что это не только для распределенных заданий, но и для отказоустойчивости.

Система восстанавливает данные с контрольных точек, затем повторно развертывает весь распределенный поток данных и дает каждому оператору состояние, которое было снято как часть контрольной точки.

...