Apache Flink: вопрос архитектуры: противодавление и режим обработки ошибок - PullRequest
0 голосов
/ 15 ноября 2018

Я только начал читать о Flink и хотел узнать больше о том, как Flink обрабатывает противодавление и как он обрабатывает сбои при наличии противодавления. Я прочитал это сообщение в блоге от data-artisans https://data -artisans.com / blog / how-flink-handles-backpressure и немного понял понятие буферных пулов и то, как они справляются с обратным давлением.

Мои вопросы

(1) как водяной знак помогает в случае удаленного обмена (когда задачи находятся на разных узлах, а буферы копируются в проводной TCP) - прочитайте это в блоге выше.

(2) если происходит сбой, когда система сталкивается с противодавлением, как с этим бороться?

(3) Для восстановления используются только асинхронные контрольные точки? Что включает в себя этот контрольно-пропускной пункт?

(4) Какая часть состояния данных буферного пула фиксируется в контрольной точке?

1 Ответ

0 голосов
/ 16 ноября 2018

Лучший ресурс для понимания того, как в настоящее время ведет себя сетевой стек Flink, - это выступление Нико Крубера на Flink Forward Berlin 2018: Повышение пропускной способности и задержек с помощью сетевого стека Flink .

Что касается контрольной точки, Отказоустойчивость потоковой передачи данных дает довольно подробное объяснение того, как она работает, и какие данные регистрируются в каждом снимке.

...