Ситуация, подобная этой:
val lines = readKafka ....
lines.foreachRDD {
... // transformation
... // wirte to db redis or kafka
}
Теперь есть три пакета данных: ABC
- при записи пакета A во внешнее хранилище, сеть нормальная
- при записи пакета B во внешнее хранилище, сетевое соединение потеряно, выдается исключение.
- при записи пакета C во внешнее хранилище, сеть возвращается в нормальное состояние
Наконец, только A иС записью на внешнее хранилище данные были потеряны.
Спасибо.