Как управлять перезагруженностью длинных трубопроводов в искре? - PullRequest
0 голосов
/ 19 ноября 2018

У меня есть конвейер данных с несколькими фреймами данных, что-то (сбой драйвера искры или какая-либо проблема) произошло после чтения пары фреймов данных, когда мы перезапускаем конвейер, определенно спарк снова пойдет и прочитает те же фреймы данных, которые были уже прочитал, прежде чем возникла проблема. Есть ли способ избежать чтения тех же фреймов данных после перезапуска?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...